- 원제: Can AI provide useful holistic essay scoring?
- 저자: Tamara P. Tate, Jacob Steiss, Drew Bailey, Steve Graham, Youngsun Moon, Daniel Ritchie, Waverly Tseng, Mark Warschauer
- 출판: Computers and Education: Artificial Intelligence, 7 (2024), Article 100255 (오픈 액세스)
- APA: Tate, T. P., Steiss, J., Bailey, D., Graham, S., Moon, Y., Ritchie, D., Tseng, W., & Warschauer, M. (2024). Can AI provide useful holistic essay scoring? Computers and Education: Artificial Intelligence, 7, Article 100255. https://doi.org/10.1016/j.caeai.2024.100255
- DOI: 10.1016/j.caeai.2024.100255
핵심 요약
이 연구는 숙련 채점자가 이미 점수를 매긴 미국 중등학생 글 1,786편을 ChatGPT에 다시 채점하게 해 사람 점수와 비교했다. 평균 점수는 사람과 통계적으로 다르지 않았다. 그러나 개별 글의 점수 일치도는 사람-AI 가중 카파 .23~.52로, 사람끼리의 .79보다 낮았다. 저자들은 저부담 형성평가에는 쓸 수 있지만 고부담 채점에는 이르지 못했다고 결론 내린다.
연구 질문과 맥락
자동 채점 연구는 수십 년 동안 정확도를 높여 왔지만, 대부분 특정 문항에 맞춘 대량의 학습 자료가 필요했다. 교사가 학교에서 쓰는 비표준 과제에는 그런 자료가 없다. 연구진은 별도 학습 없이 지시문만으로 ChatGPT가 쓸 만한 총체 점수를 낼 수 있는지 물었다. 이 질문은 수능 서·논술형 논의에서 'AI가 1차 채점을 맡을 수 있는가'라는 질문과 맞닿는다.
연구 설계와 자료
연구진은 세 자료를 썼다. 첫 자료는 역사 자료를 읽고 쓴 논증문 493편으로, 학생의 72%가 히스패닉이었다. 둘째 자료는 344편, 셋째 자료는 6~12학년 국어 글 949편이다. 모든 글은 1~6점 총체 척도로 숙련 채점자가 이미 채점했다. ChatGPT는 GPT-3.5의 2023년 3월·6월 버전과 일부 표본의 GPT-4를 썼고, 예시 답안 없이 채점기준과 지시문만 받았다. 같은 글을 여러 번 채점하게 해 AI 자신의 일관성도 확인했다.
핵심 결과와 해석
평균 점수는 사람과 AI 사이에 유의한 차이가 없었다. 그러나 사람과 AI의 가중 카파는 세 자료에서 각각 .52, .23, .52였다. 첫 자료에서 사람 채점자끼리의 가중 카파는 .79였다. 정확히 같은 점수를 준 비율도 AI가 사람끼리보다 낮았다.
하위집단 결과는 형평성 문제를 드러낸다. 영어 학습자 글에서 사람-AI 가중 카파는 .40~.43으로, 비영어학습자 글(.51~.52)보다 낮았다. 사람끼리의 일치도는 두 집단에서 .81과 .82로 거의 같았다. 사람은 두 집단을 비슷하게 일관되게 채점했지만, AI는 영어 학습자 글에서 더 자주 사람과 어긋났다는 뜻이다.
AI 자신의 반복 채점은 일관됐다. 같은 글을 다시 채점했을 때 정확히 같은 점수가 나온 비율은 59~82%였다. 대신 AI는 1점과 6점 같은 양 끝 점수를 거의 주지 않았다. 점수를 가운데로 모으는 경향은 평균을 사람과 비슷하게 만들지만, 아주 잘 쓴 글과 매우 약한 글을 가려내는 힘을 떨어뜨린다.
수능 서·논술형 논의에 주는 의미
평균이 비슷하다는 결과만 보면 AI 채점이 충분해 보일 수 있다. 그러나 대입 시험에서 중요한 것은 집단 평균이 아니라 한 학생의 점수다. 사람 간 일치도에 못 미치는 사람-AI 일치도, 특정 집단에서 더 낮아지는 일치도, 양 끝 점수를 피하는 경향은 모두 개인 점수의 공정성 문제로 이어진다. 국정감사에서 거론된 일치도 0.8 같은 수치도 평균값과 함께 집단별·문항별 값을 보아야 의미가 있다.
현장 적용
- AI 총체 점수는 수행평가 점수로 바로 쓰기보다 초안 피드백, 교사 채점과 크게 어긋나는 답안 찾기에 쓴다.
- 교사 채점과 AI 채점을 함께 기록해 가중 카파나 1점 이내 일치 비율을 학기마다 확인한다.
- 다문화·한국어 학습 학생이 있는 학급은 그 집단의 일치도를 따로 계산한다.
- 최고점·최저점 답안은 반드시 교사가 다시 읽는다. AI가 양 끝 점수를 피하는 경향이 있기 때문이다.
한계와 유의점
이 연구는 2023년 모델을 썼고, 예시 답안을 주지 않는 가장 단순한 지시 방식만 시험했다. 예시 답안과 세분화한 채점기준을 주면 일치도가 달라질 수 있다. 자료는 모두 미국 학생의 영어 글이며, 한국어 논술이나 교과 서술형 문항에 같은 수치를 옮길 수 없다. 둘째 자료의 성격과 일부 세부 수치는 저자 공개 원고 기준으로 정리했다.
근거로 사용할 수 있는 주장
LLM 총체 채점은 평균 점수가 사람과 비슷해도 개별 점수의 일치도가 사람 간보다 낮고 영어 학습자 집단에서 더 낮아, 고부담 평가에 단독으로 쓰기 어렵다는 주장의 근거로 인용할 수 있다.