AI 맞춤학습 효과의 근거와 한계

원제: AI-based personalized learning and academic performance in computing and engineering higher education: a systematic review and meta-analysis of controlled studies

저자: Jaime Govea Sotomayor, Joselin Sofia García Ortiz

출처: *Frontiers in Education, 11*, Article 1970736 (2026년 10월 29일 게재)

무엇을 물었나

컴퓨팅·공학 대학 수업에서 AI가 학습 내용, 속도, 피드백, 추천을 개인에게 맞출 때 학생의 실제 성적이 달라지는가. 저자들은 이용 의향이나 만족도 설문보다 객관적 성취를 측정한 통제연구에 초점을 맞췄다.

어떻게 살폈나

연구진은 2026년 4월 Scopus와 Web of Science를 검색하고 PRISMA 2020 절차에 따라 자료를 선별했다. 처음 확인한 84개 고유 기록 가운데 통제집단을 둔 연구 4편이 포함됐다. 참여 학생은 모두 420명이었다. 한 연구는 군집 무작위 배정을 사용했고, 다른 연구는 무작위 배정이라고 보고했지만 절차를 상세히 공개하지 않았다. 나머지는 비무작위 동시 비교와 과거 집단 비교였다.

연구의 비뚤림 위험은 무작위 연구에 RoB 2, 비무작위 연구에 ROBINS-I를 적용해 평가했다. 전체 근거의 확실성은 GRADE로 판단했다. 프로토콜은 문헌 검색 전에 공개 등록되지 않았다.

무엇을 발견했나

무작위효과 모형의 통합 효과는 Hedges’ g=1.01이었다. 95% 신뢰구간은 0.33~1.68이었다. 이 구간만 보면 AI 개인화 학습이 유리해 보인다.

그러나 연구 수가 적을 때 불확실성을 보수적으로 반영하는 Hartung–Knapp 보정을 적용하면 95% 신뢰구간은 −0.10~2.11로 넓어졌다. 이 구간은 효과가 없을 가능성도 포함한다. 연구마다 결과가 얼마나 달랐는지 나타내는 I²는 89%였다. 새 수업 환경에서 나타날 수 있는 효과의 범위를 추정하는 예측구간도 −0.42~2.43으로 무효과를 포함했다. 저자들은 근거의 확실성을 ‘매우 낮음’으로 평가했다.

따라서 통합 평균이 양수라는 사실만으로 효과가 확립됐다고 말할 수 없다. 네 편 가운데 두 편은 비뚤림 위험이 심각했고, 연구의 배정 방식과 수업 조건도 같지 않았다. 한 연구씩 제외해 계산한 결과도 양수였지만, 근거 자체가 네 편이라는 제약은 남는다.

결과를 어떻게 읽어야 하나

이 메타분석은 AI 개인화 학습이 효과가 없다고 결론 내리지 않는다. 효과가 있을 가능성과 아직 결론을 확정할 수 없다는 점을 함께 보여 준다. 핵심은 긍정적인 평균값보다 신뢰구간, 예측구간, 이질성, 연구 질을 같이 읽는 데 있다.

적용 범위도 좁다. 네 연구는 모두 고등교육의 컴퓨팅·공학 강좌에서 나왔다. 검색어 역시 컴퓨팅 관련어에 집중됐다. 초등 수학, 언어, 인문사회 수업이나 한국 학교에 같은 효과가 나타난다고 말할 자료는 없다.

교실과 연수에서 활용하기

학교가 AI 개인화 도구를 시험한다면 먼저 어떤 학생의 어떤 학습 목표를 지원할지 정할 수 있다. 예를 들어 수학 개념을 연습하는 학생에게 맞춤 피드백을 제공했다면, 도구 사용 전후에 같은 개념을 새 문제에 적용할 수 있는지 확인한다. 만족도와 사용 횟수는 학습 성과와 별도로 기록한다.

교사 연수에서는 평균 효과를 그대로 전달하기보다, 보정 신뢰구간과 연구 간 차이가 왜 중요한지 함께 읽는 활동을 할 수 있다. 참가자는 수업 목표, 비교 조건, 평가 문항을 먼저 적고 AI 도구가 그 목표에 실제로 기여했는지 판단한다. 이런 점검은 작은 시범 적용을 확정된 효과처럼 확대하는 일을 막는다.

한계와 다음 질문

저자들은 통제연구 4편만 포함했고, 상당수는 위험 편향이 있었다. GRADE 확실성은 매우 낮았다. 검색이 컴퓨팅 관련어에 집중돼 다른 교육 분야의 연구를 놓쳤을 수 있다. 사전 등록된 검토 계획이 없어 선별과 분석 결정의 사후 변경 가능성을 완전히 배제하기도 어렵다.

다음 연구는 더 많은 학교와 전공에서 비교 조건을 분명히 하고, 같은 척도로 성취를 측정해야 한다. AI가 피드백을 개인화한 효과와 추가 연습 시간, 교사의 개입 효과도 분리할 필요가 있다. 이 연구는 그런 검증을 요구하는 근거이지, 특정 도구를 채택하라는 처방은 아니다.

출처

Govea Sotomayor, J., & García Ortiz, J. S. (2026). AI-based personalized learning and academic performance in computing and engineering higher education: A systematic review and meta-analysis of controlled studies. *Frontiers in Education, 11*, Article 1970736. https://doi.org/10.3389/feduc.2026.1970736

← 2026-10-30 리포트로