- 대상 논문: Hu, B., Zhu, J., Pei, Y., & Gu, X. (2025), "Exploring the potential of LLM to enhance teaching plans through teaching simulation"
- 원문: https://www.nature.com/articles/s41539-025-00300-x
- 상태: npj Science of Learning 10, 7. 2025년 2월 6일 게재된 공개 논문이다.
핵심 내용
AI가 만든 수업안에서 학생은 어디서 막힐까. 이 연구는 대규모 언어모델(LLM)인 GPT-4가 교사와 학생의 대화를 모의로 만들고, 수업의 문제점을 짚은 뒤 초안을 고치게 했다. 고등학교 수학 수업안을 교사들이 평가한 결과, 수정본은 대부분의 항목에서 원안보다 높은 점수를 받았다. 두 번 수정한 수업안은 12개 항목에서 평균 6.8점(8점 만점)을 넘었다. 수업 준비를 돕는 가능성을 보여 주지만, 실제 학생의 학습 효과를 검증한 결과는 아니다.
1. 연구 질문
LLM이 모의 수업과 성찰을 거쳐 수정한 수업안은 더 높은 평가를 받는가. 그 점수는 평가 항목과 수학의 내용 영역에 따라 어떻게 다른가.
2. 자료와 방법
- 절차: GPT-4가 원안을 바탕으로 교사와 학생의 대화를 만든다. 학생 반응은 개념 혼동에 따른 오답, 선수 지식 부족에 따른 무응답, 오개념에 따른 오답, 학생의 질문, 정답으로 나눴다. 수업 단계마다 정답을 제외한 반응을 두 유형 이상 포함하게 했다. 이어 교육과정 범위, 문제 사슬, 수준별 지도, 지식 연결 등 아홉 가지 관점에서 단계별로 성찰 문장 4~5개를 쓰고 원안을 수정했다. 문제 사슬은 학생의 이해가 깊어지도록 질문을 순서대로 연결한 구성이다. 한 번 수정한 자료와 두 번 수정한 자료를 따로 평가했다.
- 자료: 고등학교 수학의 대수·함수·기하·통계에서 영역별 15차시씩 총 60차시를 골랐다. 기본 수업안 240개는 GPT-4가 교과교육학 지식과 문제 사슬을 반영한 A, 문제 사슬 없이 만든 B, 중국 국가 스마트교육 플랫폼의 경력 10년 이상 교사 수업안 C, 예비교사 수업안 G로 구성됐다. 예비교사들은 1년간의 실습을 마친 뒤 2주 입문 연수 중 수업안을 작성했다. 수정본 240개는 A를 GPT-4로 한 번 수정한 D, D를 다시 수정한 E, A를 Claude로 수정한 F, G를 GPT-4로 수정한 H다. 평가 대상은 모두 480개였다.
- 평가: 경력 5년 이상 수학 교사 3명이 8점 척도(8=매우 그렇다)로 평가하고, 점수 차이가 큰 항목은 경력 10년 이상 교사 2명과 협의했다. 평가 틀은 문제 사슬, 수업 활동, 지식 내용, 교수 방법과 전략, 수업 평가, 교과 간 연계, 실용성, 범위, 종합의 9범주로 구성됐다. 수업안 평가 16개 항목과 문제 사슬 유형별 평가 3개를 합쳐 총 19개 지표다. 평가자 간 점수의 일치 정도를 나타내는 ICC(2,3)는 사전 평가에서 0.716이었다. 내용 영역별 점수 차이는 Kruskal-Wallis 검정으로 살폈다.
- 비교 모델: 주 모델은 GPT-4이고 Claude 3.5 Sonnet을 비교에 썼다.
3. 핵심 결과
- 한 번 개선한 수업안(D)은 대부분의 차원에서 원안(A)을 넘었고 경력 교사의 수업안(C)보다 조금 높았다.
- 두 번 개선한 수업안(E)은 대부분의 차원에서 경력 교사 수업안을 넘었고 12개 차원에서 평균 6.8점을 넘겼다.
- 예비교사 수업안을 개선한 자료(H)는 차원 평균이 7점 안팎으로 경력 교사 수업안을 넘어섰다.
- 차원별로는 문제 맥락 설계가 7.0점을 넘었고 문제 사슬 설계 두 차원은 대체로 6.5점 이상, 내용과 방법 차원은 6.8점 안팎이었다. 교사와 학생의 상호작용 차원은 사람 전문가 수준에 못 미쳤다.
- 모듈별로는 통계가 13개 차원에서 7점을 넘겨 가장 강했고 함수는 13개 차원, 대수는 11개 차원에서 경력 교사 수업안을 넘었다. 기하는 문제 맥락 차원에서만 7점을 넘겨 가장 약했다.
- 문제 사슬 유형별로는 맥락형과 요약형이 모든 모듈에서 6.5점 이상이었고, 함정형은 통계에서만 6.5점을 넘고 다른 모듈에서는 6.0점 이상이었다.
4. 무엇을 뜻하고 무엇을 뜻하지 않는가
이 연구에서는 초안을 만든 뒤 학생의 오개념과 질문을 가정하고 수정하는 절차가 수업안 평가 점수의 향상으로 이어졌다. 문제 맥락과 질문의 연결을 미리 점검하는 방식이 수업 준비에 도움이 될 수 있다는 뜻이다. 예비교사의 수정본도 경력 교사 수업안과 비교해 높은 점수를 받았지만, 문서 평가만으로 실제 수업 경험을 대신한다고 말할 수는 없다.
평가는 실제 수업이 아니라 수업안 문서를 대상으로 했다. 특히 교사와 학생의 상호작용을 설계하는 항목은 경력 교사 수업안보다 점수가 낮았다. AI가 예상한 반응이 실제 학생에게도 나타나는지, 수정한 수업안이 학습에 도움이 되는지는 교실에서 별도로 확인해야 한다. 연구 범위도 중국 고등학교 수학에 한정된다.
5. 수업에 적용한다면
다음은 이 연구를 바탕으로 생각해 볼 수 있는 수업 설계 방법이다. 논문에서 효과를 직접 검증한 절차는 아니다.
- AI에게 수업안 초안을 받으면 바로 쓰지 말고, 우리 반 학생이 낼 법한 오개념과 질문 세 가지를 적어 모의 수업을 돌려 보게 한 뒤 어디서 막히는지 확인한다.
- 성찰 항목을 미리 정한다. 이 차시의 범위가 성취기준 안에 있는가, 문제가 앞 문제의 답을 필요로 하는 사슬을 이루는가, 수준별 대안이 있는가, 다른 교과 지식과 이어지는가.
- 도형이나 그래프가 필요한 차시는 교사가 시각 자료를 보완하고, 그림과 설명이 맞는지 확인한다.
- 수정본에 문제가 남아 있으면 교사가 수정 이유를 직접 적고 AI에게 다시 고치게 해 볼 수 있다. 반복 횟수는 두 번 이상으로 고정하기보다 수업안의 상태에 맞춰 정한다.
6. 한계와 일반화 경계
- 수업안 문서 평가이며 실제 수업 실행과 학생 성취는 측정하지 않았다.
- 고등학교 수학 4개 모듈, 중국 교육과정 맥락에 한정된다.
- 기하처럼 시각 자료가 필요한 영역과, 오개념을 드러내도록 설계한 중·고난도 함정형 문항에서 상대적으로 낮은 평가를 받았다.
- 저자들은 AI가 학생 역할에서도 곧바로 정답을 내는 경향을 지적했다. 학생의 수준과 오답이 나오는 과정을 구체적으로 지정할 필요가 있으며, 이렇게 만든 반응이 실제 학생과 얼마나 비슷한지는 별도 검토가 필요하다.
- 저자들은 교사가 이 절차를 쓰는 데 드는 난도와 시간을 줄여야 널리 쓰인다고 밝혔다.
7. 인용 맥락
이 논문은 중국 고등학교 수학 수업안에서 모의 수업과 성찰을 거친 AI 수정본이 원안보다 높은 교사 평가를 받았다는 근거로 사용할 수 있다. 두 번 수정한 자료의 점수가 높았다는 관찰을 모든 수업안에 적용되는 법칙으로 넓혀서는 안 된다. 실제 학생의 성취 향상이나 다른 교과의 효과를 뒷받침하는 직접 근거도 아니다.
8. APA와 확인처
Hu, B., Zhu, J., Pei, Y., & Gu, X. (2025). Exploring the potential of LLM to enhance teaching plans through teaching simulation. npj Science of Learning, 10, 7. https://doi.org/10.1038/s41539-025-00300-x
원문과 게재 기록: https://www.nature.com/articles/s41539-025-00300-x