원제: Developing a generative AI chatbot to support students’ higher-order thinking in STEM education
저자: Lindsey Engle Richland, Shuyuan Yu, Banu Karyagdi, Hongyang Zhao, Shayan Doroudi, Joseph T. Wong, Ella Rose, Maryam Cheraghi, Katherine Trieste Rhodes
출처: *Journal of Microbiology & Biology Education* (2026년 10월 14일 온라인 선공개)
연구 질문
수학 챗봇은 답을 알려 주는 대신 학생이 풀이의 이유를 설명하고 다른 전략을 비교하도록 도울 수 있을까. 저자들은 비례 문제를 푼 뒤 이루어진 학생과 챗봇의 대화를 살펴 고차사고 발화가 나타나는지 조사했다.
연구 방법
미국 초등학교 5~6학년 학생 33명이 참여했다. 학생들은 기호와 수직선을 이용해 비율을 비교하는 30분 수업을 듣고 평가를 치렀다. 평가 뒤 UCI Math ThinkBot과 대화하며 자신의 풀이를 설명하고 전략을 비교했다.
연구진은 대화 기록에서 학생과 챗봇이 이유를 묻고 설명하거나, 풀이를 비교하고 일반화하는 발화를 질적으로 분석했다. 고차사고 단서 단어의 빈도도 세고, 챗봇과 학생의 빈도가 함께 움직이는지 계산했다.
주요 결과
학생은 챗봇 질문에 비율을 같은 수로 곱해도 관계가 유지되는 이유를 말하거나, 풀이 전략 중 무엇이 더 효율적인지 설명했다. 챗봇은 정답을 받은 뒤 다음 문제로 넘어가는 대신 풀이 원리를 더 말해 달라고 요청했다. 학생은 평균 13.8개의 고차사고 단서 단어를 사용했다(SD=9.4).
학생과 챗봇의 단서 단어 빈도는 양의 상관을 보였다(r(31)=.52, 95% 신뢰구간 .21~.73, p=.002). 이 결과는 대화에서 양쪽 모두 고차사고와 관련된 말을 했다는 뜻이다. 챗봇이 학생의 수학 성취를 높였다는 뜻은 아니다.
해석과 한계
대화는 성취도 평가 뒤에 이루어졌다. 연구는 챗봇 사용 전후의 수학 성취를 비교하지 않았다. 상관 분석은 대화가 길수록 학생과 챗봇 모두 단서 단어를 더 많이 사용했을 가능성을 배제하지 않는다. 학생이 챗봇 표현을 따라 했을 수도 있다. 단어 수가 개념 이해의 깊이를 그대로 나타낸다고 보기도 어렵다.
저자들은 대화 전체의 의미를 코딩해 학생이 실제로 이유를 이해했는지, 챗봇 표현을 반복했는지를 구분하는 후속 연구가 필요하다고 밝혔다. 따라서 이 연구는 질문 설계의 가능성을 보여 주는 proof of concept이며 학습 효과 시험은 아니다.
수업 적용
교사는 비례 문제를 푼 학생에게 답만 묻지 않고 “두 양에 같은 수를 곱해도 왜 비율이 바뀌지 않나요?”라고 물을 수 있다. 이어 “수직선과 기호 중 어떤 방법이 이 문제에서 더 알아보기 쉬운가요?”라고 전략을 비교하게 한다.
AI 대화 기록을 평가에 쓰려면 단서 단어의 수만 세지 말고 설명의 정확성도 살펴야 한다. 학생이 자신의 말로 개념을 설명했는지, 챗봇 문장을 반복했는지, 다른 문제에 같은 원리를 적용했는지 기록한다. 교사는 챗봇이 잘못된 설명을 강화하지 않는지도 확인해야 한다.
결론
Math ThinkBot 대화에서 학생과 챗봇은 풀이 이유와 전략을 이야기했다. 이는 AI를 설명을 끌어내는 대화 상대로 설계할 수 있음을 보여 준다. 다만 이 연구는 성취 향상을 검증하지 않았으므로, 효과를 확인하려면 대화 전후의 개념 이해와 다른 문제로의 전이를 비교해야 한다.
출처
Richland, L. E., Yu, S., Karyagdi, B., Zhao, H., Doroudi, S., Wong, J. T., Rose, E., Cheraghi, M., & Rhodes, K. T. (2026). Developing a generative AI chatbot to support students’ higher-order thinking in STEM education. *Journal of Microbiology & Biology Education*. Advance online publication. https://doi.org/10.1128/jmbe.00101-26