AI 채점·인용 검증, 어디까지 믿나

오늘 큐레이션을 관통하는 물음은 'AI를 평가자·검증자로 어디까지 믿을 것인가'다. 대표 근거가 1위 연구다. 답안을 채점하는 데 'LLM을 심판'으로 쓰는 자동평가가 늘고 있는데, 후보 답안이 그대로여도 평가자 모델만 바뀌면 점수가 흔들렸다. 판정용 모델을 더 키우거나 최신 버전으로 올려도 신뢰할 만한 '인접 버전 상승'은 예외적이었고, 위치·장황함 편향은 줄어들 뿐 사라지지 않았다. AI 자동채점을 교실·에듀테크에 들일 때, 모델을 업그레이드하면 지난 학기 점수와의 비교가 어긋날 수 있다는 실무 경고다.

검증의 데이터도 쌓였다. AI가 붙인 인용의 진위를 채점하는 데 '가장 비싼 최신 모델'이 꼭 필요하지는 않았다 — 출처 적합성(그 출처가 실제로 그 주장을 담고 있는가)은 값싼 모델로도 상당히 걸러졌지만(F1 0.908), '사실을 지지하는가'의 판정은 아직 모델 간 우열이 뚜렷하지 않았다. 여기에 'AI는 언제 모른다고 해야 하나'를 다룬 연구가 더해진다 — LLM은 거짓 전제를 담은 질문에 스스로 제동을 잘 걸지 못했지만(표면 신뢰도는 우연 수준), 모델 내부를 들여다보면 '답할 수 없는 질문'을 상당히 구분하고 있었다. 세 연구 모두 'AI 산출물의 검증과 최종 확인은 사람의 몫'이라는 결론으로 수렴한다.

교육 쪽 근거는 종합·종단 연구로 보강했다. 실험·준실험 29편 메타분석은 생성형 AI가 고차사고(문제해결·비판적 사고·창의성)에 중간 크기 효과(g=0.609)를 내되, 8~16주 이상의 지속 설계와 자기조절 역량이 있어야 효과가 살아난다는 조건을 짚었다. 대학생 468명 3-파동 종단은 '좋은 AI 도구를 깔면 몰입한다'가 아니라 자기효능감이 그 사이를 매개(48%)하고 교사-학생 관계가 통로를 넓힌다는 것을 보여 줬다. 저자원 학교 교사 1,043명 연구는 AI 수업지원의 실질 가치가 '똑똑한 생성'보다 '교사의 준비 부담 경감'에 있음을, STEM 66편 메타분석(ES 0.46)은 소규모 학급·고교 인지목표에서 효과가 가장 큼을 정리했다.

뉴스에서는 전날 공개된 오픈AI GPT-5.6에 대해 영국 AI안전연구원이 '보편적 탈옥'으로 위험한 사이버 능력을 끌어낼 수 있음을 확인했고(프런티어 모델도 뚫린다는 안전성 후속), 메타는 공개 인스타그램 사진을 AI가 자동 학습에 쓰도록 한 기능을 프라이버시 반발 속에 철회했으며, UN 산하 ITU는 'AI 에이전트 신뢰'를 위한 국제 표준 이니셔티브를 출범했다 — 오늘의 'AI 신뢰성' 흐름과 맞닿는다. 국내에서는 세종교육청이 100인 대토론회에서 'AI 교육격차 해소'를 공통 의제로 세웠고, 일본은 초·중학교 정보교육을 대폭 확대해 생성형 AI·허위정보 대응을 정규화했으며, 정읍교육지원청은 2028 대입 개편에 대비한 고1 진로·진학 캠프를 열었다. 오늘은 최근 큐레이션과 겹치는 재탕이 유난히 많아(하드 재탕 22건 억제) 신규 학술이 얇았고, 그만큼 원전 검증과 재탕 배제를 엄격히 적용했다.