스스로 채점하는 AI를 믿지 마라 — 자기검증의 붕괴와 교실의 외부 검증

오늘의 관통 주제는 '스스로 채점하는 AI를 믿지 마라 — 에이전트 자기검증의 붕괴와 교실의 외부 검증'이다. 1위(SEAL)는 이 주의 핵심 논지를 정면으로 세운다: 자기개선 에이전트는 최적화 대상과 그 검증자를 같은 손에 쥐기 때문에, '자기가 매긴 점수'는 만점 가까이 유지되면서 실제 배포 성능은 퇴보하는 '검증-배포 격차'가 구조적으로 생긴다. 저자들은 6개 모델·3시드 실험으로 이를 보이고, 에이전트가 작성·열람할 수 없는 '봉인된 외부 수용신호(SEAL)'가 최소 하나는 있어야 신뢰할 수 있는 자기개선이 가능하다고 처방한다. 3위(Looping Is Not Reliability)는 같은 논지의 실증 짝이다 — 생성-테스트-수정 루프를 강제하자 현재 정확도가 1회 0.820에서 2회 0.673으로 떨어졌고, '낡은 검증 흔적'을 근거로 삼으면 멀쩡하던 정답까지 34/135건 손상됐다(현재 흔적은 4/135). '여러 번 돌렸으니 맞겠지'라는 직관이 데이터로 무너진다.

안전을 '구조로 세우는' 처방과 '자율성의 실제 한계'도 같은 주에 겹친다. 5위(APPA)는 미검증 데이터를 읽는 순간 컨텍스트가 영구 오염되는 문제를 라벨-시드 자식 궤적으로 격리해, 데이터 유출 공격성공률을 31~50%에서 0~7%로 억제한다. 7위(InMind)는 에이전트 '기억'의 신뢰 한계를 정량화한다 — 결정적 사실을 맥락에 넣으면 84.0%를 답하지만, 그것을 '검색'하게 하면 6개 메모리 시스템이 최대 14.4%에 그친다(같은 사실을 요구 시엔 100% 회상하면서도). 8위(로봇 화학실험실)는 물리 세계에서 AI 자율성을 냉정히 채점한다: 4,608회 시행 중 전문가가 '실행 가능'으로 본 워크플로는 3.3%, 피드백을 받아도 전면 재계획은 없었다. 9위(역할별 위험 통제)는 '전체적으로 안전함'이 수신자·자격증명 같은 고위험 지점의 실패를 가린다며 의미역할 단위 인증을 요구한다.

교실로 오면 이 주제는 '무엇을 성취의 증거로 볼 것인가'로 번역된다. 2위(고빈도 자동채점 형성평가)는 1위의 정확한 반대편 짝이다 — AI를 '스스로 옳다는 판정자'가 아니라 '사람의 형성평가 병목을 없애 외부 피드백을 빠르게 되돌려주는 도구'로 쓰자, A-Level 과학 성적이 통제군 대비 16.8% 올랐고(N=142, p<.01) 피드백 회신은 11.2일에서 0.1일 미만으로, 연습량은 4배로 늘었다. 4위(HeuristicEdu)는 '규모만으로는 좋은 튜터가 안 된다'를 실증한다: 정렬 안 된 72B 모델은 소크라테스식 유도가 0%였지만, 교육 지표 기반 강화학습으로 정렬하자 스캐폴딩 효과가 30→63.3%로 올랐다. 6위(사이버리터러시 워게임)는 통념을 뒤집는다 — 108팀이 700만 개의 조작 봇 게시물을 만들어봐도 학생의 '봇 식별 자신감'은 늘지 않아, 체험의 강렬함을 학습 성취로 착각해선 안 된다는 교훈을 남긴다.

실행 가능한 저비용 설계도 짚는다. 10위(ADHD 강의영상 시간분할)는 거창한 AI 없이 영상을 단일지시 단위로 쪼개고 쉼을 넣는 후처리만으로 모두의 수행을 높이되 ADHD 학습자를 또래 수준으로 평준화한 보편적 학습설계(UDL)의 실증이다. 뉴스 브리핑에는 1,100여 AI 종사자의 '개발속도 조절' 공개서한, MS의 사이버보안 모델 공개, 뉴욕주 학교의 AI 로봇교사 도입 보류, 교육부 2030청년자문단의 'AI 교육 안전체계' 12개 과제, 한-브라질 첫 교육협력 MOC를 담았다. 국내 특집은 '영유아 사교육, 무조건 일찍이 답일까 — 놀이·경험·수면이 먼저'를 정리한다. 오늘 하루를 관통하는 물음은 하나다: AI가 스스로 '잘했다'고 말할 때, 우리는 무엇으로 그것을 외부에서 검증하는가.

※ 학술자료는 원문(초록) 축자 검증했고, 미확인 수치·저자는 [확인 필요]로 표기한다(오늘 [확인 필요] 0건). 뉴스는 게재일(D-3~D)과 출판사 최종 URL을 확인했다.