García-García, Gómez-Núñez, Molla-Esparza · Higher Education · 2026년 6월 22일
한국어 요약
이 연구는 고등교육에서 학업성과를 다룬 학습분석 체계적 문헌고찰 19편을 다시 검토했다. 연구진의 관심은 예측 성능과 함께 교육 맥락이 얼마나 설명되어 있는지에 있었다. 네 데이터베이스와 회색문헌을 검색하고 2025년 5월까지 새 자료를 확인했다. 포함된 문헌고찰은 2019~2024년에 발표됐으며, 학습분석의 목적·자료·성과·방법을 서술적으로 비교했다. 교육 목표와 이론, 과목과 수업 맥락을 충분히 보고한 문헌고찰은 드물었다. 성적과 참여, 학업 유지처럼 다른 결과가 학업성과라는 이름으로 함께 다뤄져 비교가 어려웠다. AMSTAR 2로 평가한 19편의 방법 품질은 모두 최하 신뢰 범주에 속했다. 이는 개별 학습분석 도구가 효과 없다는 판정이 아니라, 기존 종합 연구가 강한 결론을 지지하기 어려운 이유를 보여 준다. 학교와 대학은 예측 대상과 그 뒤의 교육적 지원을 연결하고, 그 연결이 검증된 범위를 구분해 읽을 필요가 있다.
연구의 필요성과 목적
학습관리시스템은 접속, 클릭, 과제 제출과 같은 기록을 남긴다. 이런 기록을 분석하면 학업 위험을 예측할 수 있지만, 클릭 수가 학생의 이해를 얼마나 설명하는지 또는 위험 신호 뒤에 어떤 지원을 해야 하는지는 따로 검토해야 한다. 연구진은 기존 연구 종합이 주로 분석 기법과 예측 정확도에 집중하면서 이 교육적 연결을 충분히 다루지 않았다고 보았다.
메타리뷰는 문헌고찰을 다시 검토하는 연구다. 여기서는 대학생을 새로 모집하거나 AI 수업을 실험하지 않았다. 기존 문헌고찰들이 무엇을 학업성과로 정의했고, 어떤 자료와 설명을 제시했는지 살펴 학습분석 근거를 읽는 데 필요한 조건을 찾았다.
연구 질문
논문의 목적을 세 질문으로 풀어 읽을 수 있다. 첫째, 기존 문헌고찰은 학습분석의 교육 수준·전공·수업 환경·교육 목표와 이론을 얼마나 보고했는가. 둘째, 학업성과와 예측 요인은 어떻게 정의되고 측정됐는가. 셋째, 분석 방법과 성능의 보고 방식은 연구 간 비교를 가능하게 하는가. 이는 논문의 검토 항목을 독자의 이해를 위해 재구성한 질문이다.
주요 개념
학습분석(Learning Analytics)은 학습자와 학습 환경의 자료를 수집하고 해석해 학습을 이해하고 개선하려는 활동이다. 학습관리시스템(LMS)의 활동 기록은 그 자료 가운데 일부이며, 교실 밖의 학습이나 학생의 감정을 모두 담지는 못한다.
AMSTAR 2는 체계적 문헌고찰의 질문 설정, 검색, 사전 계획, 편향 평가 등 방법을 점검하는 도구다. 이 논문은 의료 용어를 학습분석 맥락에 맞게 일부 조정했다. 최하 범주인 critically low는 검토 결과를 신뢰하는 데 중요한 약점이 여러 개 있다는 뜻이다. 개별 원연구의 모든 결과를 한꺼번에 부정하는 등급은 아니다.
보정 포함 면적(CCA)은 여러 문헌고찰에 같은 원연구가 얼마나 겹치는지 보는 지표다. 중복이 적다는 것은 서로 같은 근거를 반복 계산할 우려가 작다는 뜻이며, 포함 연구의 질이 높다는 뜻은 아니다.
연구 방법
연구진은 INPLASY에 사전등록한 계획에 따라 Scopus, Web of Science, ERIC, PsycINFO를 검색했다. 회색문헌과 참고문헌도 확인했고 2025년 5월 21일까지 새 기록을 추적했다. 영어 또는 스페인어로 쓰인 고등교육의 체계적 문헌고찰을 포함했다. 초·중등과 대학을 함께 다룬 경우에는 고등교육 결과를 분리할 수 있어야 했다.
두 검토자가 독립적으로 선정과 자료 추출을 수행하고 불일치를 조정했다. 최종 19편은 2019~2024년에 발표됐다. 연구진은 교육 맥락과 이론, 자료의 출처와 생성 주체, 예측 변수, 성과 지표, 분석 방법을 추출했다. 원연구 중복은 도구 보조와 수작업으로 확인했으며 CCA는 0.91%였다. 서로 다른 성능 수치를 억지로 합치지 않고 서술적으로 종합했다.
결과와 해석
교육 맥락의 보고가 부족했다. 19편 중 14편은 원연구의 학문 분야를 명시하지 않았고, 포함 원연구의 교육 이론이나 교수 모형을 체계적으로 종합한 리뷰는 없었다. 일부 리뷰가 논의에서 이론을 참고한 경우와 원연구의 이론적 기반을 분석 항목으로 정리한 경우는 구별해야 한다.
학업성과의 뜻도 일정하지 않았다. 최종 성적, 참여 지표, 유지율, 주관적 평가가 같은 큰 범주에 들어갔다. 따라서 두 연구가 모두 높은 예측 성능을 제시해도 서로 다른 결과를 예측했다면 직접 우열을 정하기 어렵다. 학습관리시스템 기록은 흔한 자료원이었으나, 누가 데이터를 만들고 어떤 방식으로 평가했는지의 설명도 충분하지 않았다.
인구통계·사회경제적 특성과 이전 학업 기록은 자주 다뤄진 변수였다. 그러나 리뷰들은 그 변수의 예측력을 충분히 보고하지 않았다. 연구에 자주 등장했다는 사실을 강한 영향력의 증거로 바꿔 읽을 수 없다. 회귀와 분류 같은 지도학습 방법도 자주 쓰였지만, 분석 과제와 검증 전략의 차이가 설명되지 않아 모델 성능에 관한 단단한 종합 결론을 내리기 어려웠다.
19편은 모두 AMSTAR 2 최하 범주에 속했다. 포함 리뷰 중 원연구의 편향 위험이나 출판편향을 공식적으로 평가한 리뷰가 없었다는 점도 보고됐다. 이러한 결과는 학습분석 분야 전체의 유효성을 판정하기보다, 기존 연구 종합이 주장할 수 있는 범위를 제한한다.
논의와 학교 적용
저자들은 교육 목표와 이론을 연구 종합의 분석틀로 포함하고, 맥락에 맞는 여러 자료원을 연결하도록 제안한다. 인구통계와 같은 비교적 고정된 특성은 위험 집단의 조기 식별에 도움이 될 수 있다. 반면 학습 과정에서 달라지는 행동은 교사가 개입할 여지를 설명할 수 있다. 후자가 실제로 더 나은 지원을 만든다는 주장은 이 논문에서 검증된 효과가 아니라 교육적으로 근거를 둔 가설이다.
학교에서 이를 적용한다면 대시보드 검토표에 세 칸을 둘 수 있다. “무엇을 예측하는가”, “틀렸을 때 어떤 학생에게 어떤 불이익이 생기는가”, “교사가 어떤 지원을 제공하는가”를 기록하는 방식이다. 예를 들어 과제 제출이 줄어든 학생에게 곧바로 낮은 능력의 표지를 붙이는 대신, 접속 여건과 과제 이해를 확인하는 상담을 제안할 수 있다. 이 상담안은 본 분석의 적용 제안이며 연구가 효과를 시험한 프로그램은 아니다.
한계와 후속 연구
메타리뷰는 기존 문헌고찰의 누락과 용어 차이를 그대로 물려받는다. 영어·스페인어 자료로 범위를 제한했으므로 다른 언어의 연구가 충분히 반영되지 않았을 수 있다. 교육 수준이나 전공을 자세히 보고한 리뷰가 적어 세부 집단별 비교도 제한됐다. 고등교육의 결과를 한국 초·중등에 옮길 때에는 교육과정과 수업 운영 조건을 추가로 검토해야 한다.
후속 연구에서는 예측 지표와 학생 지원을 연결한 변화 경로를 먼저 명시할 필요가 있다. 정확도뿐 아니라 교사의 실제 대응, 학생의 경험, 지원 후의 학습 변화를 추적하면 예측의 교육적 가치를 평가할 수 있다. 연구 종합 단계에서도 성과 정의와 검증 방식, 원연구 편향 평가를 공통 항목으로 보고해야 비교가 가능해진다.
인용 맥락과 출처
이 논문은 “학습분석의 예측 성능을 교육적 효과로 해석하려면 목표·맥락·성과 정의가 필요하다”는 주장을 뒷받침한다. 특정 도구의 도입 효과, 인구통계 변수의 결정적 영향, 초·중등 학습분석의 무효를 입증하는 근거로 사용할 수는 없다.
주요 근거 위치는 원문의 Method, Results의 품질평가·교육 맥락·성과 지표, Discussion의 방법상 한계다. 저자·발행일·DOI는 출판사와 Crossref를 교차 확인했다.
핵심어: 학습분석, 메타리뷰, 교육 맥락, 학업성과, 연구 품질 / learning analytics, meta-review, educational context, academic performance, review quality
García-García, F. J., Gómez-Núñez, M. I., & Molla-Esparza, C. (2026). Applications of learning analytics in the study of academic performance in higher education: A meta-review with an educational perspective. Higher Education. Advance online publication. https://doi.org/10.1007/s10734-026-01709-y