학습자 데이터, 언제 '맞춤'이 되는가

오늘의 관통 주제는 '데이터는 언제 맞춤이 되는가 — 학습자 데이터 분석과 맞춤형 지원'이다. 1위(EEF 체계적 리뷰+메타분석)는 이 질문에 가장 큰 규모로 답한다. 학교 EdTech 연구 9,125편을 걸러 189편을 종합한 결과 전체 성취 효과는 긍정적이었지만(d=0.4), 사회경제적으로 불리한 학생만을 대상으로 한 개입 하위군에서는 유의한 효과가 없었다(d=0.0527, p=0.2077). 효과와 가장 강하게 연관된 것은 도구가 아니라 '건전한 교수법과의 정렬'(d=0.6544)이었다 — 기술 보급 자체는 격차 해소의 근거가 아니라는 뜻이다.

2위(정답의 함정)는 학습자 데이터의 사각지대를 짚는다. 수학 플랫폼 실응답 20,964건에서 '틀린 추론으로 정답에 도달한' 숨은 오개념을 AI로 탐지해 보니, 최고 성능 추론 모델도 현실적 유병률에서는 오경보가 실제 탐지의 약 8:1로 압도했다 — 저자들은 탐지 결과를 교사에게 바로 보내는 대신 진단용 후속 문항으로 검증하는 '탐지-검증-격상' 배치를 제안한다. 4위(미시 피드백 분석, 16,851건)는 반대 방향의 실용 지침이다: 다음 턴의 이해를 만든 것은 공감의 말도 긴 설명도 아닌 '구체적 예시가 있는 정교화'였다. 10위(edX 조기 경보 진단)는 병목이 모델이 아니라 '학생 상태를 담는 데이터 표현'임을 보였다.

그렇다면 데이터는 어떻게 교실에 도달하는가. 3위(LA Cockpit 준실험, 교사 16명·학생 403명)는 '대시보드 → 교사 피드백 변화 → 학생 성취'의 인과 사슬을 실제 수업에서 통째로 검증했다 — 대시보드 조건의 지식 습득이 유의하게 높았고, 매개는 교사의 과정 피드백이었다. 5위(교사 데이터 리터러시 276편 스코핑 리뷰)와 7위(초등교사 45명 역량 검증)는 같은 병목을 가리킨다: 정의는 수렴했지만 실천은 성적 데이터에 편중돼 있고, 연수는 태도를 넘어 해석·적용 기능까지 가야 한다.

방법의 최전선도 넓다. 6위는 시험 없이 게임 로그만으로 역량을 추정하는 멀티에이전트 스텔스 평가(193명, 단일 LLM 대비 예측 타당도 약 3배), 8위(Inria)는 이미 쌓인 로그에서 새 적응형 수업 정책을 학습하는 오프라인 밴딧, 9위(Scientific Reports)는 학생 데이터를 반출하지 않고 연구를 공유하는 2만 명 규모 합성 학습자 데이터셋이다. 국내 특집은 시행 단계에 들어선 '한국형 학습 데이터 인프라' — 국가기초학력지원포털·서울형 기초학력 지원체계·KERIS AIDT 3년 종단연구를 '아직 오지 않은 증거'라는 관점에서 함께 읽는다.