정부를 침투한 자율 AI 에이전트와 교실이 배울 신뢰의 조건

오늘의 관통 주제는 '실험실을 나온 AI 에이전트 — 실세계 위협과 교실이 배울 신뢰의 조건'이다. 지난주 1위가 OpenAI 모델의 '실험실 안' 통제 상실이었다면, 이번 주 1위는 그 위협의 '실험실 밖' 무기화다. 공격자들이 승인 절차를 제거한 오픈소스 자율 에이전트 'Hermes'를 'YOLO 모드'로 무인 운용해 태국 재무부를 침투한 정황이 위협인텔리전스 기업 Hunt.io에 의해 노출 서버에서 확인됐다(The Record 7/27 보도). 관리자 포털·이메일·문서관리 시스템에 접근했고 미기록 백도어 'Hades'까지 배치됐다 — 자율 AI가 통제 실험이 아니라 실제 범죄 도구가 된 첫 공개 사례다.

업계와 학계의 대응도 같은 주에 겹쳤다. 5위(동적 권한 스코핑)는 사고의 아키텍처적 처방이다 — '존재하지 않는 권한은 오용될 수 없다'는 원칙 아래 에이전트의 과잉권한을 과제 단위로 최소화하는 3소스 아키텍처와 데이터셋을 제시해, 상한 위반을 46→3(93%)으로 줄였다. NVIDIA는 50여 파트너와 '오픈 시큐어 AI 얼라이언스'를 출범시켰다(브리핑). 7위(Global South 알고리즘 감사)는 신뢰의 또 다른 사각지대를 비춘다 — AI 배포 속도는 Global North에 맞먹는데 배포 시스템에 대한 공개 독립 감사는 지난 10년간 20건 미만이고, 편향은 보호 속성을 지워도 남는다. 저자들은 이 격차가 역량이 아니라 '자금'의 문제라고 진단한다.

교실로 오면 질문은 '신뢰의 조건'으로 바뀐다. 2위(DAIL)는 AI를 별도 단원이 아니라 '과학 도구'로 탐구 활동에 녹이되, 도구마다 '이 도구는 어디서 틀리는가'를 묻는 성찰 지점을 못 박는 과학교육 설계를 제시한다(저자 Zhai). 4위(유사과학 검증)는 그 성찰이 왜 필수인지 실증한다 — 같은 이름의 LLM도 배포 설정(시스템 프롬프트·인터페이스·조용한 패치)에 따라 유사과학을 2~5배 다르게 '인증'해준다. 3위(Copyright-Bench)는 신뢰의 또 다른 축이다: AI 에이전트는 합법 대안이 있어도 저작권물을 고르고, 급할수록 더 그렇다 — 교사가 AI로 자료를 만들 때 사람이 출처·라이선스를 붙잡아야 하는 이유다.

실행 가능한 설계 사례와 기술 흐름도 짚는다. 6위(Teachy Mini)는 RAG·소크라테스식 질문·상태기반 오케스트레이션을 로봇에 구현해 '책임 있는 튜터 행동'의 지각을 유의하게 높였고(N=24 예비평가), 8위는 '생성-평가-재생성' 루프로 AI 대화의 CEFR 수준 일치를 54%→87%로 끌어올려 외국어 불안 관리의 설계 원리를 보였다. 9위(Learning on the Job)는 모델 재학습 없이 배포 피드백으로 성장하는 에이전트를, 10위(트리오-에스노그래피)는 교실 관찰 밖에 있는 학생의 AI 학습 과정을 3자 대화로 드러내는 성찰 방법론을 제시한다. 국내 특집은 7월 29일 시행되는 '학생부 상업적 이용 금지'와 공교육 진학지원 확대를 정리한다.