평균은 올랐다, 그런데 무엇이 남았나 — AI 효과의 조건과 대가

오늘의 관통 주제는 '평균은 올랐다, 그런데 무엇이 남았나 — AI 효과의 조건과 대가'다. 1위는 그 대가를 가장 선명하게 보여 준다. 학생 54명에게 웹사이트를 만들게 하되 한쪽은 코드를 직접 고쳐 주는 에이전트를, 한쪽은 스스로 쓰거나 코드 조각을 각색하는 챗봇을 쓰게 했다. 에이전트 쪽은 과제를 더 잘 끝냈지만 코드 이해도가 낮아졌고, 그래서 나중에 에이전트 없이 자기 코드를 확장하지 못했다. 낮은 이해와 연결된 것은 AI 사용 자체가 아니라 복사+붙여넣기 프롬프트·자동 수락 편집 같은 저노력 상호작용이었다. 결정적으로 학생들은 스스로 이해가 약하다고 인정하면서도 '빠르고 쉽다'는 이유로 여전히 에이전트를 선호했다. 산출물만 채점하는 평가가 왜 위험한지, 그리고 '확장 과제'가 왜 필요한지를 한 번에 말해 주는 결과다.

2위는 가장 단단한 증거로 효과의 크기를 알려 준다. 영국 교육기부재단(EEF)이 초등 63개교 무작위 통제 실험으로 적응형 수학 튜터를 평가한 결과, 전체 학생은 평균 1개월분(효과크기 0.08)을 더 진전했고 무상급식 대상 학생은 2개월분(0.14)을 더 진전했다. 신뢰등급은 자물쇠 4개로, EEF가 평가한 프로그램 중 약 10%만 받는 등급이다. 권장 사용시간 45~60분에 못 미치는 주 32분 사용으로 나온 결과라는 점, 그리고 학생 1인당 연 22파운드·교원 연수 0.5일이라는 비용까지 공개돼 있다는 점이 실무적으로 중요하다. 다만 EEF 스스로 이것이 생성형 AI 튜터가 아니라 적응형 기술임을 명시한다 — 효과는 있으나 작고, 취약계층에서 더 크다. 6위(지능형 튜터링 52편 메타분석)는 그 효과를 어디에 붙일지 말해 준다: 자기조절 지원을 교과 학습 안에 심으면 g = 1.048, 따로 떼어 훈련하면 g = 0.403으로 2.6배 차이가 났고, 즉시와 지연을 섞은 피드백은 g = 1.554로 단독 피드백(0.650·0.621)의 두 배를 넘었다.

3위와 5위는 AI가 사람들 사이에서 무엇을 밀어내는지 본다. 3위는 무작위 배정 통제 연구로, 학생 2명+AI 팀원 16개 팀과 사람 3명 17개 팀에게 고위험 도덕적 딜레마를 풀게 했다. AI 팀원은 모든 팀에서 가장 말이 많고 가장 자기응집적이었으나 새 정보는 가장 적게, 밀도는 가장 낮게 담았다. 그리고 AI가 있는 팀에서 사람들은 서로에 대한 반응성과 사회적 영향력이 낮아졌고 소속감·지위를 더 낮게 보고했다 — 이 비용은 대화가 흐르며 생긴 것이 아니라 기저선부터 존재했다. 5위(사전등록 창의성 실험)는 같은 압축을 아이디어 차원에서 확인한다. 비원어민 필자가 집단 다양성에 더 크게 기여했는데, AI가 아이디어를 만들어 주는 조건에서는 모두의 다양성이 압축되고 그 우위마저 감지되지 않았다. 반면 AI가 본인 아이디어를 다듬어 주는 조건은 둘 다 보존했다. 참가자 배경으로 만든 페르소나·3개 모델 계열로 필자 풀을 시뮬레이션했지만 모든 시뮬레이션 풀이 모든 인간 풀보다 낮았다.

4위는 교실 실무로 곧장 들어온다. LLM 4종이 산술 문항 32개에 매긴 난이도 640건을 학생 770명의 실제 응답(CTT·IRT 2PL)과 대조하니 순위 상관은 0.52~0.70으로 대략적 서열만 맞았고, 분수 문항에서 체계적으로 어긋났다 — AI가 일관되게 쉽다고 본 문항이 학생에게는 최난도였다('100 : 1/2' 정답률 34.16%). 저자들은 LLM이 오개념이 만드는 인지적 난이도가 아니라 '교육과정 순서상 쉬워야 할' 난이도를 근사한다며 이를 Easy Trap이라 부른다. 7위와 9위는 'AI가 냈다는 결과'를 어떻게 믿을지 다룬다. 7위는 아이디어 하나를 여러 번 구현해 보니 구현 간 분산이 같은 산출물 재실행 분산의 5~10배였고, 한 번의 구현으로 뽑은 승자가 나머지 둘의 평균 기준 승자와 25.6%·43.6%에서 달랐다고 보고한다(구현 복권). 9위는 미공개 NeurIPS 2026 논문 2편의 연구 질문을 최전선 에이전트에게 6일과 수천 달러어치 연산과 함께 맡긴 뒤 원저자가 채점하게 했는데, 엔지니어링은 사람 도움 없이 해냈지만 연구 질문에는 실질적 진전을 내지 못해 두 편 모두 명백한 리젝 판정을 받았다.

국내 근거도 두 건 들어왔다. 8위는 전국 초등 266개교 17,718명·중학교 255개교 22,687명을 유층 표집해 수행형 검사로 디지털 리터러시를 측정한 KERIS 연구다. 100점 환산 평균은 초등 60.46점·중학교 59.98점이었고, 도구 활용과 정보 탐색은 비교적 안정적인 반면 '디지털 자원 생산'이 가장 취약했다(초등 4문항 평균 1.42). 중학교에서는 비판적 정보 판단을 강조하는 수업일수록 상위 계층 소속 가능성이 높았다 — 교사의 수업 실천이 성취와 연결된다는 국내 근거다. 10위는 초등 수학 AI 디지털 교육자료 7종의 교사 대시보드를 분석해, 8개 범주 31개 요소 중 모든 발행사가 공통으로 제공하는 것은 '과제별 제출현황' 하나뿐이며(최다 25개 vs 최소 9개) 분석 목적이 '기술'에 쏠려 있고 '예측'은 거의 구현되지 않았음을 보고한다. 종합하면 오늘의 열 건은 한 문장으로 모인다: AI는 결과를 끌어올리지만, 이해·관계·다양성처럼 '남아야 할 것'은 설계로 지켜야 한다.

※ 학술자료는 원문(초록·결과) 축자 검증했고, 미확인 수치·저자는 [확인 필요]로 표기한다. 뉴스는 게재일(D-3~D)과 출판사 최종 URL을 확인했다.