- 대상 논문: 이규민 외(2026), 「서울시교육청 AI-기반 서논술형 평가시스템과 자동채점 모형의 상대적 적합성 탐색」
- 원문: https://www.kci.go.kr/kciportal/ci/sereArticleSearch/ciSereArtiView.kci?sereArticleSearchBean.artiId=ART003318456
- DOI: https://doi.org/10.31158/JEEV.2026.39.1.211
초록
이 연구는 한국어 서논술형 평가에서 어떤 자동채점 모형이 실제 교육청 시스템에 적합한지를 다교과·다학년 자료로 비교한다. 서울시교육청이 2025년에 구축한 시스템의 국어·수학·사회·과학 문제해결력 평가를 대상으로 했다. 초등 5·6학년, 중학교 1~3학년, 고등학교 1학년이라는 여섯 학년이 포함됐다. KLUE-RoBERTa가 가장 높은 상대적 적합도를 보였지만 KoBERT, XLM-RoBERTa, GPT-5도 높은 수준이었다. 학년 차이는 뚜렷하지 않았으나 교과 차이는 나타났다. 확장형 논술보다 제한형 서술 문항에서 적합도가 높았다. 점수 표준편차와 불균형, 인간 채점자의 관대·엄격성 구성도 적합도와 연결됐다. 따라서 자동채점 성능은 모델 이름 하나의 속성이 아니라 문항·교과·자료 분포·인간 기준점의 결합 결과로 해석해야 한다. 학교 적용에서는 전체 평균 지표 대신 문항군과 점수대별 오류, 교사 이관 사례를 따로 관리해야 한다.
1. 연구 목적과 맥락
서논술형 평가는 학생의 사고 과정과 근거 사용을 볼 수 있지만 채점 시간과 채점자 간 차이가 크다. 연구진은 이 부담을 줄일 자동채점의 가능성을 검토하면서도, 범용 모델의 일반 성능이 국내 교육과정 기반 한국어 답안에 그대로 이전된다고 가정하지 않았다. 실제 교육청 시스템에서 사용할 후보 모형의 상대적 적합성을 비교하고, 그 적합성이 어떤 조건에서 달라지는지를 찾는 것이 목적이다.
2. 연구 질문
첫째, BERT 계열과 GPT 계열 모형 가운데 국내 한국어 서논술형 평가 자료에 상대적으로 더 적합한 모형은 무엇인가. 둘째, 학년·교과·문항 형식·측정학적 특성·점수 분포는 적합도에 어떤 차이를 만드는가. 셋째, 인간 채점자의 엄격성 구성은 자동채점과 인간 기준의 일치에 어떤 영향을 주는가.
3. 핵심 개념
‘상대적 적합성’은 절대적으로 완벽한 채점자를 뜻하지 않는다. 동일한 자료와 인간 기준에 대해 후보 모형들이 얼마나 잘 맞는지를 비교하는 개념이다. ‘제한형 서술’은 허용 답안 범위가 비교적 좁고, ‘확장형 논술’은 주장과 조직 방식의 자유도가 크다. 점수 분포 불균형은 특정 등급에 답안이 몰리는 현상으로, 높은 평균 합치가 상·하위 수행 구분 실패를 숨길 수 있게 한다.
4. 자료와 방법
서울시교육청은 국어·수학·사회·과학 네 교과에서 문제해결력 문항을 개발해 초5부터 고1까지 여섯 학년에 시행했다. 연구는 KoBERT, KLUE-RoBERTa, XLM-RoBERTa 같은 인코더 계열과 GPT-5를 포함한 후보를 비교했다. 학년과 교과, 문항의 제한성, 난이도·변별도, 점수 분포의 표준편차와 불균형, 인간 채점자의 관대·엄격성 비율을 함께 살폈다. 공개 초록은 표본의 정확한 답안 수와 모든 지표값을 제시하지 않으므로 이 분석문은 확인된 범위 밖의 수치를 추정하지 않는다.
5. 주요 결과
KLUE-RoBERTa의 상대적 적합도가 가장 높았다. 그러나 KoBERT, XLM-RoBERTa, GPT-5도 적용 가능성을 논할 수 있는 높은 수준이었다. 학년에 따른 차이는 발견되지 않았지만 교과에 따른 차이는 있었다. 제한형 서술 문항이 확장형 논술 문항보다 적합도가 높았다. 문항 난이도와 변별도는 뚜렷한 관련이 없었으나 점수 표준편차와 분포 불균형은 관련이 컸다. 관대하거나 엄격한 인간 채점자의 비율이 높을수록 자동채점 모형의 적합도는 낮아졌다.
6. 해석과 다른 연구와의 연결
결과는 ‘최신 범용 LLM을 쓰면 된다’는 단순한 결론을 지지하지 않는다. 한국어에 특화된 인코더가 강한 결과를 보인 것은 과제 특화 데이터와 언어 적합성의 가치를 보여준다. Choi 외(2026)의 앵커 답안 연구와 연결하면, 모델 선택뿐 아니라 인간 기준을 어떤 예시와 분포로 전달했는지가 중요하다. Debelak과 Ziegler(2026)의 틀로 보면 높은 합치는 신뢰도 증거의 일부일 뿐, 교과별 타당도와 집단별 공정성은 별도로 확인해야 한다.
7. 교실·교육청 적용 절차
1. 교과와 문항 형식별로 검증 자료를 분리한다.
2. 공동채점으로 점수대별 앵커 답안과 경계 사례를 확정한다.
3. 전체 QWK와 함께 점수대별 오차, 과대·과소채점, 분산 압축을 본다.
4. AI-인간 불일치와 저확신 사례는 제2채점으로 보낸다.
5. 모델 버전·루브릭·프롬프트·앵커가 바뀌면 재검증한다.
6. 학생 이의제기와 교사 최종 판정 기록을 남긴다.
8. 한계와 오해하기 쉬운 지점
상대적 적합도 1위는 모든 교과와 모든 문항에서 절대적으로 가장 타당하다는 뜻이 아니다. 인간 채점자의 합의점수도 채점 훈련과 엄격성의 영향을 받는다. 학년 차이가 없었다는 결과도 다른 장르·학교·지역에 차이가 없음을 보장하지 않는다. 공개 초록만으로 표본 수와 모든 통계량을 복원할 수 없으므로 세부 수치 인용에는 원문 본문 확인이 필요하다.
9. 후속 연구 질문
같은 답안을 여러 시점과 모델 버전에서 반복 채점하면 안정성은 유지되는가. 점수 압축과 교과별 차이는 어떤 언어·논증 특성에서 생기는가. 불확실성 기반 교사 이관이 전체 교사 시간을 얼마나 줄이면서 오류를 통제하는가. 성별·언어배경·특수교육 여부에 따른 조건부 오차는 어떤가. AI가 생성한 근거는 실제 점수 판단의 충실한 설명인가, 사후적으로 그럴듯하게 만든 문장인가.
10. APA·인용 맥락·확인처
이규민, 김경선, 심준식, 고동현, 김성일, 박나갑, & 김지연. (2026). 서울시교육청 AI-기반 서논술형 평가시스템과 자동채점 모형의 상대적 적합성 탐색. *교육평가연구, 39*(1), 211–240. https://doi.org/10.31158/JEEV.2026.39.1.211
이 논문은 국내 실제 다교과 자료에서 자동채점의 성능이 교과·문항형식·점수분포·인간 채점자 구성에 따라 달라진다는 주장의 근거로 쓰기 적합하다. 최종 확인처는 KCI 논문 상세와 DOI 연결 원문이다.