논문 요약
AI가 피드백을 많이 제공해도 학생의 수정이 늘어난다고 보장할 수는 없다. Alsaiari와 동료들은 피드백을 만나는 절차에 따라 학생 행동이 어떻게 달라지는지 살폈다. 대학생 13,037명이 만든 학습자료 51,296개와 70개 강좌의 기록을 분석했다. 서로 다른 학기에 정적 피드백, 선택적 AI 대화, 제안을 선택하고 검토하도록 안내하는 절차를 적용했다. 마지막 조건에서 수정 확률의 모형 추정치는 26.2%로 가장 높았다. 정적 피드백 조건은 14.1%, 선택적 대화 조건은 0.1%였다. 자기평가 자신감과 제출물의 동료 평가 점수도 함께 살폈다. 그러나 학기별 모델 버전과 수정의 측정 정의가 달라 절차만의 인과 효과를 분리할 수 없다. 수정 로그는 특정 제안의 반영이나 장기 학습을 직접 보여 주지 않는다. 이 연구는 피드백 활용의 조건을 검토할 근거이며 특정 AI의 학습 효과를 확정한 실험이 아니다.
연구의 필요성과 목적
학생은 피드백을 읽고도 무엇부터 고칠지 모를 수 있다. 생성된 조언의 정확성을 높이는 일과 학생이 그 조언을 판단하고 쓰도록 돕는 일은 서로 다른 과제다. 이 연구는 두 번째 문제를 플랫폼의 상호작용 순서와 연결했다.
학습자는 자료를 만든 뒤 자기평가하고 동료의 검토를 받는다. 연구진은 이 과정에 AI 피드백이나 대화를 어떻게 배치하느냐에 주목했다. 따라서 연구의 관찰 단위와 과제는 일반적인 시험 성적이나 자유로운 챗봇 사용 전체와 다르다.
연구 문제
세 절차에서 수정으로 이어지는 행동과 수정 횟수는 어떻게 다른가, 자기평가 자신감은 어떤 차이를 보이는가, 제출물의 품질은 어떻게 다른가를 물었다. 행동, 자신감, 품질은 같은 결과가 아니다. 자신감이 높아져도 판단의 정확도가 높아졌다고 자동으로 해석할 수 없고, 수정이 많아져도 좋은 수정이 늘었다고 단정할 수 없다.
용어의 정의
피드백 리터러시(feedback literacy)는 조언을 이해하고 판단해 실제 개선에 사용하는 데 필요한 능력과 태도를 말한다. 실행을 안내한 피드백(Enacted Feedback)은 학생에게 제안을 고르고 관련성을 검토한 뒤 그 제안에 관한 대화를 하도록 안내하는 조건의 이름이다.
순차 코호트 설계(sequential cohort design)는 서로 다른 시기의 집단을 비교하는 방식이다. 이 연구에서는 같은 학기의 학생들을 무작위로 세 집단에 나누지 않았다. 수정 확률은 기록 자료에 맞춘 통계모형의 추정치이며, 학생의 성적이 오를 확률이 아니다.
연구 방법
정적 피드백은 2025년 1학기, 선택적 AI 대화는 2025년 2학기, 실행 안내는 2026년 1학기에 도입됐다. 플랫폼과 과제 구조, 동료 검토 기준은 유지했지만 참여 강좌와 학기는 달랐다. 한 학생이 여러 자료를 만들었으므로 분석에서 학생 안의 반복 관측을 고려했다.
기록상 수정의 정의도 절차에 맞춰 달랐다. 정적 피드백은 피드백 상태에서 바로 수정으로 넘어갔는지를 봤다. 선택적 대화는 AI 도움 요청 이후의 수정을 봤다. 실행 안내 조건은 여러 안내 단계를 거친 뒤의 수정도 포함했다. 따라서 세 숫자를 완전히 동일한 행동의 비율처럼 놓고 읽으면 안 된다.
제출물 품질은 동료 검토 결과로 측정했다. 이 지표가 교사의 독립적인 성취 검사나 장기간 유지된 지식과 같은 것은 아니다. 플랫폼 로그로는 학생이 조언을 왜 채택하거나 거절했는지 충분히 알 수 없다.
연구 결과
원문 표 2에서 추정 수정 확률은 실행 안내 26.2%, 정적 피드백 14.1%, 선택적 대화 0.1%다. 실행 안내와 정적 피드백의 차이는 12.1%포인트로 보고됐다. 자료를 실제로 수정한 관측 비율과 통계모형으로 조정한 추정치를 섞지 않아야 한다.
이 결과를 ‘학생 26.2%가 AI 제안을 성공적으로 반영했다’고 바꿔 쓰면 근거를 넘어선다. 분석이 확인한 것은 절차별로 정의된 후속 수정이다. 그 수정이 특정 제안을 반영했는지, 내용의 오류를 바로잡았는지는 별도의 내용 분석이 필요하다.
실행 안내 조건에서는 자기평가 자신감과 동료 평가에 따른 제출물 품질도 높게 나타났다. 하지만 논문은 제출물 품질 차이가 작았다는 점과 장기 학습을 측정하지 않았다는 점을 밝힌다. 단일 결과를 학생 역량 전체의 향상으로 확대하지 않는 것이 적절하다.
논의와 결론
첫째 한계는 모델 버전이다. 앞의 두 조건은 GPT-4o mini, 실행 안내 조건은 GPT-5 mini를 썼다. 절차와 모델이 함께 바뀌었으므로 두 요인의 효과를 분리할 수 없다. 둘째는 서로 다른 학기의 학생·강좌·AI 친숙도다. 셋째는 조건별로 다른 수정 집계 방식이다.
이 세 한계는 부록의 작은 단서가 아니라 결과 해석의 중심이다. 연구의 규모가 커도 설계의 교란이 사라지는 것은 아니다. 이 논문이 지지하는 실천적 질문은 어떤 절차가 학생에게 조언을 판단할 기회를 주는가이며, 특정 수업 절차가 학습을 확정적으로 얼마나 높이는가라는 답은 아직 남아 있다.
교실 적용 제안
다음 활동은 작성자의 수업 설계 제안이다. 학생에게 AI 조언을 바로 적용하게 하기 전에 자신의 과제 목표와 관계있는 조언 하나를 고르게 한다. 고른 이유와 아직 받아들이기 어려운 이유를 각각 쓰게 한 뒤, 필요할 때만 AI나 교사에게 구체적인 설명을 요청하도록 한다. 마지막에는 원문과 수정문을 나란히 놓고 무엇이 달라졌는지 설명하게 할 수 있다.
교사는 수정 횟수보다 판단의 근거를 살핀다. 예를 들어 AI가 문장을 더 화려하게 만들었더라도 과제의 주장과 증거가 흐려졌다면 학생이 이를 거절한 판단을 인정할 수 있다. 반대로 단순한 맞춤법 수정만 했는데 논증이 좋아졌다고 평가하면 수행의 종류가 섞인다.
소규모로 비교할 때는 같은 과제, 같은 모델, 같은 피드백 시간과 공통 채점 기준을 유지하는 것이 좋다. 수정 여부의 정의도 두 집단에 동일하게 적용해야 한다. 교사가 미리 정한 일부 답안을 이름 없이 다시 읽어 수정의 질을 확인하고, 다음 과제에서 AI 없이 같은 판단을 할 수 있는지도 별도로 살펴볼 수 있다.
학생에게 불필요한 대화나 수정을 강요하는 것은 피드백 활용의 목표와 어긋날 수 있다. 이미 적절한 글을 쓴 학생은 고치지 않는 이유를 설명할 수 있어야 한다. 도움을 적게 요청했다는 사실만으로 참여가 낮다고 판단하지 않는 장치도 필요하다.
후속 연구 제안
동일 학기·동일 모델에서 피드백 절차를 비교하고, 수정 행동의 정의를 통일한 연구가 필요하다. 로그에 학생 면담과 실제 수정 내용 분석을 더하면 클릭이 학습 판단으로 이어졌는지 살필 수 있다. AI가 없는 후속 과제에서는 설명의 타당성, 근거 선택, 스스로 오류를 고치는 행동을 관찰할 수 있다. 대학의 자료 제작 과제에서 나온 결과를 중등 수업으로 옮길 때는 학생의 읽기 수준과 과제의 부담도 함께 검토해야 한다.
주제어
피드백 리터러시(feedback literacy), 피드백 활용(feedback enactment), 자기평가(self-assessment), 순차 코호트(sequential cohort), 학습분석(learning analytics).
APA 인용과 원문
Alsaiari, O., Baghaei, N., Lodge, J. M., Gašević, D., Winstone, N., & Khosravi, H. (2026). Making AI-generated feedback matter: A large-scale study of feedback workflows and student enactment [Preprint]. arXiv. https://doi.org/10.48550/arXiv.2608.11625
2026년 9월 19일 기준 arXiv v2와 PDF의 방법 3.3~3.4절, 결과 표 2, 한계 5.6절을 대조했다. APA 저자 순서는 저장소 서지를 따랐다. PDF 표지의 Winstone과 Gašević 순서가 저장소와 다르다는 서지상 차이가 있다. 학교 적용과 후속 연구는 작성자의 제안이다.