- 대상 논문: Mathew, Taher, Kundu, & Barbosa (2026), “LLMs do not grade essays like humans”
- 원문: https://www.sciencedirect.com/science/article/pii/S2666920X26001281
- 공개 원고: https://arxiv.org/abs/2603.23714
- DOI: https://doi.org/10.1016/j.caeai.2026.100666
초록
이 연구는 별도 과제 훈련 없이 GPT와 Llama 계열 LLM이 인간처럼 논술을 채점하는지 세 공개 말뭉치에서 비교한다. ASAP 과제 1의 1,783편, 과제 7의 1,569편, DREsS의 1,917편으로 총 5,269편이다. 인간 두 채점자의 QWK는 .72였다. 반면 LLM-인간 QWK는 ASAP에서 모두 .30 미만이었고 DREsS의 최고값도 .34였다. 가장 높은 상관도 과제 1에서 .57, DREsS에서 .46 수준이었다. 모델은 낮은 점수와 높은 점수를 피하고 중앙에 압축했다. 짧고 미발달했지만 주제에 맞는 글을 인간보다 후하게 채점하는 경향이 있었다. 길고 질이 높아도 사소한 철자·문법 오류가 있으면 더 박하게 보는 경향도 나타났다. LLM이 만든 피드백은 자체 점수와 일관됐지만 인간 채점자가 중시하는 특성과는 달랐다. 최신 모델이 항상 더 높은 인간 정합성을 보이지도 않았다. 따라서 범용 LLM은 단독 총괄 채점자보다 제2의견·형성 피드백·이상치 탐지 역할에 더 적합하다.
1. 연구 목적
LLM은 자연스러운 피드백과 점수를 동시에 생성하므로 인간 채점과 비슷해 보인다. 그러나 말이 그럴듯하고 내부적으로 일관된다는 사실이 인간이 의도한 쓰기 구인을 같은 방식으로 측정한다는 뜻은 아니다. 연구는 모델-인간 합치뿐 아니라 어떤 답안 특성에서 차이가 생기는지 분석했다.
2. 연구 질문
여러 GPT·Llama 모델의 점수는 인간 점수와 얼마나 합치하는가. 답안 길이, 발달 수준, 표면 오류, 인간 점수대에 따라 과대·과소채점은 어떻게 달라지는가. 생성 피드백의 긍정·부정 내용은 모델 점수와 일관되는가. 모델 세대가 최신일수록 인간 채점과 더 가까운가.
3. 핵심 개념
점수 압축은 모델이 척도의 양 끝을 덜 사용하고 중앙 점수에 몰리는 현상이다. 이는 평균절대오차가 작아 보여도 상위 수행의 식별과 지원 대상 탐지를 약화시킨다. 내부 일관성은 피드백의 칭찬·비판과 자체 점수가 맞물리는 성질이다. 인간 정합성은 인간 점수의 순서와 절대 수준을 얼마나 재현하는지에 관한 별도 성질이다.
4. 자료와 방법
ASAP의 두 과제와 DREsS를 사용했다. 과제 1은 1,783편, 과제 7은 1,569편, DREsS는 1,917편이다. GPT-3.5, GPT-4.1, GPT-5 mini와 Llama 2·3·4 계열의 별도 과제 훈련 없는 채점을 인간 점수와 비교했다. QWK와 상관을 계산하고, 답안 길이·질·언어 오류에 따른 잔차와 생성 피드백의 정서·내용을 분석했다.
5. 주요 결과
인간-인간 QWK .72와 비교해 LLM-인간 QWK는 ASAP에서 모두 .30 미만이었다. DREsS의 최고 QWK도 .34였다. 가장 높은 상관은 과제 1의 Llama 3에서 .57, DREsS의 Llama 4에서 .46이었다. 모델은 극단 점수를 덜 사용했다. 짧고 충분히 발달하지 않았지만 주제에 맞는 글은 과대평가하고, 길고 높은 질을 보이지만 작은 언어 오류가 있는 글은 과소평가하는 경향이 있었다. 피드백과 자체 점수는 일관됐지만 모델마다 의존하는 루브릭 특성이 달랐다.
6. 해석
낮은 인간 정합성은 LLM이 무작위라는 뜻은 아니다. 오히려 모델은 자신의 암묵적 규칙에 따라 일관되게 판단했지만 그 규칙이 인간 채점자의 구인과 달랐다. 이것이 더 위험할 수 있다. 자연스러운 설명은 사용자가 차이를 알아채기 어렵게 만들기 때문이다. Choi 외(2026)의 앵커 답안은 이런 암묵적 척도를 인간 기준에 교정하는 한 방법이지만, 과제와 집단이 바뀌면 재검증해야 한다.
7. 교실 적용안
범용 LLM의 첫 점수를 성적표에 바로 넣지 않는다. 전체 합치 외에 최상·최하 점수의 재현율, 점수 분산, 답안 길이별 잔차, 철자·문법 오류 통제 후의 차이를 본다. AI는 누락된 근거 찾기, 루브릭별 제2의견, 피드백 초안에 사용하고 교사가 최종 점수와 어조를 결정한다. 학생에게는 AI 피드백에 이의를 제기하고 근거를 요청할 통로를 제공한다. 모델·프롬프트·앵커 버전을 채점 기록과 함께 보존한다.
8. 한계
연구는 영어 공개 말뭉치와 특정 모델 버전에 기반한다. 별도 과제 훈련이나 충분한 앵커를 사용한 시스템에는 결과가 달라질 수 있다. 인간 점수도 완전한 진실이 아니며 채점자 훈련과 루브릭에 의존한다. QWK가 낮다는 사실만으로 형성 피드백의 교육적 효용까지 부정할 수는 없다. 반대로 피드백이 그럴듯하다는 사실로 총괄평가의 타당성을 주장해서도 안 된다.
9. 후속 연구 질문
한국어 서논술형에서도 같은 점수 압축과 표면 오류 민감성이 나타나는가. 점수대별 앵커와 RAG가 인간 정합성을 얼마나 높이며 새로운 편향을 만드는가. 모델이 인용한 답안 근거는 점수 변화에 실제로 인과적으로 연결되는가. 학생이 AI 피드백에 이의를 제기할 때 교사 판단과 학습은 어떻게 달라지는가. 최신 모델 업데이트 뒤 같은 검증 묶음의 결과는 얼마나 변하는가.
10. APA·인용 맥락·확인처
Mathew, J. G., Taher, S., Kundu, A., & Barbosa, D. (2026). LLMs do not grade essays like humans. *Computers and Education: Artificial Intelligence, 11*, 100666. https://doi.org/10.1016/j.caeai.2026.100666
이 논문은 범용 LLM이 일관된 피드백을 생성해도 인간 채점과 낮게 합치하고 점수 압축·답안 특성별 체계적 차이를 보인다는 반증으로 적합하다. 최종 확인처는 ScienceDirect 공식 논문과 arXiv 공개 원고다.