AI 리터러시, 자신감과 실제 수행을 구분하기

학생이 AI 사용에 자신 있다고 답하고 매끄러운 글을 제출했을 때, 교사는 무엇을 배웠다고 말할 수 있을까. 영어교육 연구 27편을 종합한 Zhang 등의 논문은 자신감, 실제 사용 과정, 완성한 결과물이 서로 다른 주장을 뒷받침한다고 설명한다. 오늘의 대표 질문은 AI 사용 여부를 가리는 데서 한 걸음 더 들어간다. 수업에서 확인하려는 역량에 맞는 증거를 모았는지를 묻는다.

첫 흐름은 언어와 예술에서 표현을 판단하는 근거다. 뉴스 편향을 다룬 통제 실험에서는 사실이 상당 부분 유지돼도 AI가 주입된 방향성 편집을 거의 되돌리지 못했다. 편향을 지적한 설명과 실제 수정 결과가 일치하는지 대조해야 한다. 예술 연구의 개념 논문은 정교한 결과물이 어떤 새로운 질문을 낳았는지도 보자고 제안한다. 앞의 종합·실험 연구와 달리 예술 논문은 효과를 검증한 자료가 아니라 판단 관점을 제공한다.

둘째 흐름은 다언어 학생의 설명을 지원하면서 뜻을 정확히 듣는 문제다. 초등 수학 사례에서는 AI가 모국어 어휘를 활동에 연결해 주기도 했지만 음성 인식 오류로 대화가 어긋나기도 했다. 영어·요루바어 음성 벤치마크는 전체 오류율 뒤에 언어 전환 지점의 큰 실패가 숨어 있음을 보여 준다. 두 자료는 언어쌍과 방법이 다르므로 효과를 합산할 수 없다. 다만 학생이 의도한 말을 확인하기 전에 개념 이해를 판단하지 말아야 한다는 수업상의 질문으로 연결된다.

셋째 흐름은 AI 점수의 조건이다. 생물종 식별은 깨끗한 사진과 야생 카메라 사진에서 달랐고, 위상 공간 과제에서는 관계를 답하는 것보다 행동을 이어 가는 일이 어려웠다. 환각 탐지기는 분야가 달라지면 성능이 낮아졌으며, 안전성 벤치마크는 시점과 언어에 따라 시험 범위를 갱신했다. 반복 추론 연구 역시 답안 기회와 계산량을 명시해야 점수를 해석할 수 있다. 이 자료들은 학생 학습 효과의 직접 근거가 아니라 모델의 적용 범위를 점검할 기술적 근거다.

교실에 적용한다면 한 과제에서 확인할 역량부터 좁힐 수 있다. 출처 검증이 목표라면 학생이 AI의 어떤 주장을 원문의 어느 구절과 대조했는지, 그대로 수용하거나 수정한 이유가 무엇인지 받는다. 설명 능력이 목표라면 도구를 사용한 결과와 학생 자신의 설명을 구분해 듣는다. 설문은 학습자의 인식을 이해하는 자료로 함께 쓰되 실제 수행 점수로 바꾸어 읽지 않는다.

이 제안은 오늘 읽은 자료를 바탕으로 한 수업 설계의 출발점이다. 학교급과 교과에 맞는 효과가 검증됐다는 뜻은 아니다. 영어교육 종합의 연구군은 대학생과 교사교육에 치우쳐 있고, 초등 다언어 연구는 제한된 질적 사례이며, 기술 논문 일곱 편은 동료심사 전 공개본이다. 수업을 시도한다면 학생이 남긴 근거가 학습 목표를 실제로 보여 주는지 작은 과제에서 확인하며 조정할 필요가 있다.