AI와 함께 쓴 글, 무엇을 살펴볼까

AI의 도움을 받아 완성한 글이 매끄럽더라도 학생이 근거를 따져 보았는지는 별도로 확인해야 한다. 오늘 소개하는 쓰기 참여 척도 연구는 참여를 정서·주의·상호작용·비판·창의로 나눴다. 질문만 하는 AI와 글을 수정한 준실험은 근거 사용과 반론 통합에서 차이를 보고했다. 앞의 연구는 참여의 측정과 연관성을, 뒤의 연구는 특정 수업 조건에서의 수행 차이를 다룬다. 두 결과를 합쳐 AI가 글쓰기 전반을 향상시킨다고 말할 수는 없다.

역사 교과서 질문을 다룬 질적 연구는 다른 문제를 보여 준다. AI에 역할을 부여하거나 교과서를 제공하면 설명 방식이 달라졌지만, 자료를 검색하는 조건에서도 연도 오류가 나왔다. 학생에게 답변을 더 길게 쓰게 하는 것만으로 검토가 깊어지지는 않는다. 사건의 사실 관계, 주장과 근거의 연결, 가치 판단의 기준을 따로 표시하고 원문과 대조하는 활동이 필요하다.

AI 자체를 평가하는 수치도 조건을 따져 읽어야 한다. 오늘의 측정 연구들은 심사자 구성, 문항 반복, 응답 표집에 따라 신뢰도와 난도 표지가 달라질 수 있음을 설명한다. 작은 평균 차이를 확정적인 우열로 읽기 전에 어떤 오차를 줄였고 어떤 오차가 남았는지 확인해야 한다. 이 기술 연구들이 곧바로 학생 평가의 타당성을 입증하는 것은 아니다.

언어와 지원 환경이 달라지면 같은 도구의 결과도 달라진다. 아프리카 대학의 장애 지원 문헌은 학생 개인의 도구 사용과 기관 지원의 간극을 지적했다. 가나 언어의 음성 번역 실험은 다국어 훈련의 이득이 언어마다 같지 않았고 반복 실험에서 결론이 바뀔 수 있음을 보였다. 수업에 적용할 때는 평균 성능 외에 학생이 사용하는 언어, 자료의 누락, 도움을 받을 수 있는 조건을 함께 살펴볼 수 있다.