AI 채점, 언어 따라 점수가 갈린다 — 이중 실증

오늘의 관통 주제는 'AI 평가의 언어 편향'이다. 같은 날(7월 16일) 나온 두 실증이 학습자 쪽과 평가자 쪽에서 같은 그림을 그렸다. 1위 연구는 TOEFL 에세이 12,100편(11개 모어×1,100편)을 미세조정 LLM으로 채점한 결과 — 공식 밴드 일치율 77.79%로 통상 기준 '우수한' 채점기가, 같은 공식 등급 안에서 유럽어권 학습자를 동아시아어권보다 일관되게 높게 채점했다(medium 등급 +0.33점). 표준화 오프셋은 독일어 +0.55 vs 한국어 −0.34. 이 패턴은 학습에 쓰지 않은 8개 프롬프트 전부에서 반복됐다. 2위 케임브리지 연구는 평가자 쪽을 갈랐다: 의미가 같은 콘텐츠를 23개 언어로 평가시키면 쌍별 비교 정확도가 90%를 넘는데도 절대 점수의 임계값 통과율은 언어에 따라 최대 43%p 벌어지고, 저자원 언어일수록 점수가 후해져(ρ=−0.81) 소수 언어의 유해 콘텐츠가 필터를 더 잘 통과했다. 두 연구를 겹치면 결론은 하나다 — AI 채점·심사·필터를 한국어 환경에 들여올 때 영어 기준 그대로면 안 되고, '전체 정확도'가 아니라 '집단별·언어별 오프셋'을 검증해야 한다.

'증거와 검증'이라는 두 번째 축도 뚜렷하다. 3위 스탠퍼드 SCALE 리뷰는 'AI가 학습에 효과 있는가'를 다룬 논문 800여 편에서 엄밀한 인과 설계는 20편뿐임을 확인했고, AI 사용 중의 향상이 AI 없이 치르는 평가로 이어지지 않는 사례와 함께 '정답 대신 힌트를 주는 가드레일 도구가 범용 챗봇보다 유망하다'는 방향을 제시했다. 5위 OmniaBench는 354개 전문 영역 1,431개 과제에서 최상위 범용 에이전트의 성공률이 약 58%에 그침을 보였다. 한편 4위(E&IT 당일 게재)는 검증된 긍정 사례다: 고교 10학년 60명 12주 준실험에서 Copilot·Canva·Tinkercad를 '정의→설계→개발→평가→개선(3D4E)' 단계로 구조화한 수업이 시각적 사고력을 유의하게 높였다(인지검사 37.50 vs 24.87) — 효과의 원천은 도구가 아니라 수업모형이라는 메시지다.

AI 축에서는 에이전트의 안전·책임 문제가 이어졌다. 6위는 AI 비서의 장기 기억 파일이 현재·미래 세션을 공격하는 통로가 됨을 실증했고(UW), 9위는 'AI는 프롬프트 밖의 사람을 모른다'는 무지를 구조화하면 아부·환각이 줄고 되묻기가 늘어남을 보였다 — 진로·상담 AI 활용의 설계 원리다. 7위는 7개국 시민이 AI 규제에서 안전·공적 거버넌스·국제 협력을 일관 선호함을 실증했다. 뉴스에서는 미 노동통계국의 2024-34 고용 전망(데이터과학 +33.5%), 백악관의 프런티어 모델 접근 직접 통제, 구테흐스의 WAIC 형평 연설이 이어졌고, 국내에서는 인천교육청의 'H-A-H(Human-AI-Human)' 인간중심 AI 교육 원칙이 오늘 1·2위의 '사람이 검증한다' 흐름과 정확히 조응한다.