원제: TeachTune: Reviewing Pedagogical Agents Against Diverse Student Profiles with Simulated Students
- 저자: Hyoungwook Jin, Minju Yoo, Jeongeon Park, Yokyung Lee, Xu Wang, Juho Kim (KAIST·이화여대·UC San Diego·미시간대)
- 출판: Proceedings of the 2025 CHI Conference on Human Factors in Computing Systems, pp. 1–28
- APA: Jin, H., Yoo, M., Park, J., Lee, Y., Wang, X., & Kim, J. (2025). TeachTune: Reviewing pedagogical agents against diverse student profiles with simulated students. In Proceedings of the 2025 CHI Conference on Human Factors in Computing Systems (pp. 1–28). ACM. https://doi.org/10.1145/3706598.3714054
- DOI: 10.1145/3706598.3714054
핵심 요약
생성형 AI 덕분에 교사도 수업용 챗봇을 직접 만들 수 있게 됐다. 문제는 그 챗봇이 개념을 잘 아는 학생, 오개념이 있는 학생, 의욕이 낮은 학생에게 각각 적절하게 반응하는지 확인하기 어렵다는 점이다. 연구진은 교사가 설정한 특성을 따르는 '가상 학생'이 챗봇과 자동으로 대화하게 하는 점검 도구 TeachTune을 만들었다. 과학 교사 30명을 대상으로 한 실험에서 자동 대화 기능은 교사의 과제 부담을 줄이고, 교사가 점검한 학생 유형의 범위를 넓혔다.
연구 질문과 맥락
연구진은 먼저 교사 5명을 면담하고 교사가 챗봇을 점검하는 방식을 관찰했다. 교사들은 직접 학생 역할을 연기하며 챗봇과 대화하거나, 질문 하나에 대한 답만 확인하는 방식을 썼다. 앞의 방식은 고칠 때마다 다시 대화해야 해 시간이 많이 들었고, 뒤의 방식은 여러 번 주고받는 대화 속의 반응을 볼 수 없었다. 연구는 다양한 학생 유형을 깊고 넓게 점검하는 방법을 찾는 데서 출발했다.
연구 설계와 자료
TeachTune에서 교사는 학생의 지식 수준과 동기·성향을 5단계 척도로 정한다. 시스템은 이 설정을 바탕으로 학생의 개요를 먼저 만들고, 그 개요를 따르는 가상 학생이 챗봇과 대화한다. 연구진은 먼저 가상 학생이 설정대로 행동하는지 기술적으로 평가했다. 이어 중학교 과학 수업용 챗봇을 만드는 과학 교사 30명을 세 조건에 나눴다. 기본 조건은 직접 대화와 단일 질문 시험만 쓸 수 있었고, 자동 대화 조건은 가상 학생 설정과 자동 대화를 포함한 모든 기능을, 지식 조건은 지식 수준 설정만 쓸 수 있었다.
핵심 결과와 해석
가상 학생의 행동은 입력한 지식과 동기 수준을 잘 따랐다. 정확도 차이는 각각 5%와 10% 이내였다. 교사 실험에서 자동 대화 조건의 교사는 기본 조건보다 과제 부담이 낮았고(η²=0.395), 같은 특성 안에서 더 다양한 학생 유형을 점검했다(η²=0.304). 두 효과 크기는 모두 큰 편이다.
이 결과는 교사가 만든 챗봇의 품질을 높이는 열쇠가 챗봇 제작 단계보다 점검 단계에 있을 수 있음을 보여 준다. 교사가 일일이 학생을 연기하지 않아도, 미리 정한 학생 유형별로 대화를 돌려 보며 챗봇이 놓치는 학생을 찾을 수 있다.
현장 적용
- 교사가 만든 챗봇을 수업에 쓰기 전에 '개념을 모르는 학생', '오개념이 있는 학생', '의욕이 낮은 학생' 같은 점검용 학생 유형 목록을 만든다.
- 별도 도구가 없어도 생성형 AI에 학생 유형을 지정해 챗봇과 대화하게 하고, 그 기록을 교사가 검토할 수 있다.
- 교과협의회에서 같은 챗봇을 학생 유형별로 나눠 점검하면 한 사람이 놓친 반응을 찾기 쉽다.
한계와 유의점
연구진은 챗봇이 학생의 학습 성과와 태도에 미친 효과를 확인하지 않았다고 밝혔다. 챗봇의 질은 전문가 평가로만 판단했다. 실험은 과학 교과와 한 차례 설계 과정에 한정됐다. 가상 학생은 실제 학생의 행동을 완전히 대신하지 못하므로, 교실 적용 뒤 실제 대화 기록을 다시 확인해야 한다.
근거로 사용할 수 있는 주장
교사가 가상 학생으로 자신이 만든 수업 챗봇을 점검하면 점검 부담이 줄고 더 다양한 학생 유형을 살필 수 있다는 실험 근거로 인용할 수 있다.