원제: A Piece of Theatre: Investigating How Teachers Design LLM Chatbots to Assist Adolescent Cyberbullying Education
- 저자: Michael A. Hedderich, Natalie N. Bazarova, Wenting Zou, Ryun Shim, Xinda Ma, Qian Yang
- 출판: Proceedings of the CHI Conference on Human Factors in Computing Systems (CHI 2024), pp. 1–17
- APA: Hedderich, M. A., Bazarova, N. N., Zou, W., Shim, R., Ma, X., & Yang, Q. (2024). A piece of theatre: Investigating how teachers design LLM chatbots to assist adolescent cyberbullying education. In Proceedings of the CHI Conference on Human Factors in Computing Systems (pp. 1–17). ACM. https://doi.org/10.1145/3613904.3642379
- DOI: 10.1145/3613904.3642379
핵심 요약
연구진은 중학교 교사 13명에게 코딩 없이 대형언어모델 챗봇을 만드는 도구를 주고, 사이버폭력 상황에서 학생이 '방관자를 넘어 돕는 사람'이 되는 연습을 하는 챗봇을 만들게 했다. 교사들은 도구를 반겼고, 자신을 학생과 챗봇의 행동을 함께 연출하는 극작가로 보았다. 동시에 대화 흐름을 설계하는 상위 수준의 안내가 부족하고, 학생 반응을 예측하기 어렵다는 문제가 드러났다.
연구 질문과 맥락
사이버폭력은 청소년의 정신건강에 해를 끼치며, 피해 상황에서 개입하는 행동을 가르치는 일이 중요하다. 역할극은 효과적인 방법이지만 교사가 학생마다 상대역을 맡기는 어렵다. 연구진은 교사가 직접 역할극 챗봇을 만들 수 있다면 무엇을 원하고 어디서 어려움을 겪는지 물었다.
연구 설계와 자료
연구진은 대형언어모델과 프롬프트 연결 방식을 쓰는 노코드 챗봇 제작 도구 'Co-Pilot'을 만들었다. 교사는 대화 흐름과 챗봇 발화를 단계별로 설계하고, '챗봇 시험기'에서 학생 입장으로 대화해 볼 수 있다. 중학교 교육 경험이 있는 교사 13명이 화상으로 참여했다. 코딩이나 프롬프트 경험은 참여 조건이 아니었다. 교사들은 최대 45분 동안 챗봇을 만들고 시험하며 생각을 말로 표현했고, 이어 면담에 응했다. 챗봇은 GPT-3.5 계열 모델로 구현했다.
핵심 결과와 해석
교사들은 도구를 열정적으로 받아들였다. 이들은 학생과 챗봇이 어떻게 행동할지 대본을 쓰되 즉흥의 여지를 남기는 극작가처럼 설계했다. 교사들의 목표는 학생이 안전한 환경에서 바람직한 반응과 바람직하지 않은 반응을 모두 시도해 보는 것이었다. 피해자, 가해자, 방관자가 함께 나오는 다자 역할극과 학교·학급·교수 스타일에 맞춘 조정도 원했다.
어려움도 분명했다. 프롬프트를 세밀하게 조정하는 기능은 있었지만 전체 대화를 어떻게 구성할지에 대한 안내가 부족했고, 한 사례에서는 챗봇이 같은 말을 반복하는 고리에 빠졌다. 교사들은 소극적인 방관자 같은 학생 반응을 미리 예상하기 어려워했다. 교사의 전문성은 장면 설계에 있었지만, 학생 반응의 폭을 점검하는 데는 도구의 도움이 필요했다.
현장 적용
- 생활교육용 역할극 챗봇을 만들 때 먼저 장면, 등장인물, 학생이 연습할 행동을 대본처럼 적는다.
- 학생이 보일 수 있는 반응(무시, 장난, 침묵, 과잉 반응)을 목록으로 만들고 챗봇이 각 반응에 어떻게 대응하는지 시험한다.
- 교사 연수에서는 도구 조작보다 대본 설계와 예상 반응 점검을 연습하는 시간이 더 중요하다.
한계와 유의점
참여 교사는 13명이고 스스로 참여한 교사들이다. 챗봇은 실제 학생이 아닌 교사와 가상 학생 시뮬레이션으로만 시험했다. 2023년 모델을 썼으므로 최신 모델에서는 대화 품질이 다를 수 있다. 사이버폭력이라는 한 주제의 결과이므로 교과 수업용 챗봇에 그대로 일반화하기 어렵다.
근거로 사용할 수 있는 주장
교사가 노코드 AI 도구로 챗봇을 만들 때 수업 장면을 연출하는 극작가처럼 설계하며, 학생 반응 예측과 대화 구조 설계에 지원이 필요하다는 근거로 인용할 수 있다.