A systematic research synthesis of generative AI literacy in English language education
Yuan Zhang, Xiaoting Qiu, Jiangang Wang · Discover Artificial Intelligence · 2026년 9월 7일
1. 논문 요약 (Abstract)
생성형 AI를 활용한 영어교육이 늘면서 AI 리터러시라는 이름으로 서로 다른 능력과 태도를 측정하는 연구도 늘고 있다. 이 논문은 연구가 주장하는 역량과 실제로 수집한 증거가 어떻게 연결되는지 확인하려 했다. 연구진은 2024년부터 2026년 3월까지의 실증 학술지 논문 27편을 체계적으로 종합했다. 개념 이해, 전략적 활용, 비판·윤리적 평가라는 세 영역을 잠정적 분석 틀로 사용했다. 전략적 활용의 증거는 21편, 비판·윤리적 평가는 20편, 개념 이해는 15편에서 확인됐다. 연구 22편은 적어도 한 영역을 직접 다뤘으며 5편은 인접한 태도나 결과를 통해 간접적으로 접근했다. 여러 영역을 다룬 20편 중 18편은 목적·과제·측정·결과·해석 사이에서 영역들을 실질적으로 연결했다. 그러나 자기보고는 인식한 역량을, 과제는 특정 상황의 활용을, 산출물은 그 과제의 결과를 주로 보여 주므로 이들을 같은 의미로 읽어서는 안 된다. 이 종합은 영어교육에서 주장과 증거를 맞추는 원칙을 제안하지만 세 영역을 확정된 이론이나 검증된 발달 단계로 정립한 것은 아니다.
2. 논문 구조별 주요 정보
연구의 필요성 및 목적
영어 글쓰기 과제에서 학생이 AI를 쓰는 데 자신 있다고 답하고 문법적으로 매끄러운 글을 내면, 교사는 그 학생이 AI를 잘 이해하고 비판적으로 쓴다고 생각하기 쉽다. 하지만 자신감, 결과물의 질, AI 응답의 한계를 설명하는 능력은 서로 다르다. 좋은 결과는 도구의 성능에서 나왔을 수도 있고, 학생이 검토하지 않은 내용을 그대로 받아들인 결과일 수도 있다.
논문은 AI 리터러시를 명시적으로 다룬 연구와 글쓰기·피드백·교사 의사결정 안에 관련 능력을 포함한 연구를 함께 검토한다. 목적은 새 척도를 만들어 보급하는 것이 아니라, 각 연구의 결론이 실제 측정 범위를 넘지 않는지 읽을 수 있도록 증거를 정리하는 데 있다. 한 영역에 집중한 연구도 그 범위에 맞는 결론을 내면 유효하다.
연구 문제
논문은 영어교육에서 생성형 AI 리터러시를 어떻게 개념화하고 측정했는지, 세 영역이 어느 정도 드러나는지, 여러 영역을 어떤 깊이로 연결했는지를 살핀다. 여기서 영역의 수와 연결의 깊이는 구분된다. 세 영역의 이름을 모두 언급하는 것보다 두 영역을 과제와 측정에 일관되게 연결한 연구가 더 선명한 증거를 제공할 수 있기 때문이다.
이 질문을 수업의 언어로 바꾸면 “무엇을 배웠다고 주장하는가”, “그 주장은 어떤 학생 행동이나 자료로 확인되는가”, “측정하지 않은 능력까지 결과를 넓혀 말하고 있지는 않은가”가 된다. 이 세 질문은 분석을 돕기 위한 재구성이며 원문 문항을 그대로 옮긴 것이 아니다.
용어의 정의 (Key Concepts)
- 생성형 AI 리터러시(Generative AI literacy): AI의 작동과 한계를 이해하고, 목적에 맞게 활용하며, 결과와 사용의 영향을 판단하는 능력을 가리킨다. 이 논문은 이를 세 영역의 잠정적 틀로 읽는다.
- 개념 이해(Conceptual understanding): AI가 할 수 있는 일과 한계, 불확실성이나 잘못된 정보 생성 등을 설명하는 영역이다. 관련 개념을 직접 측정하지 않았다는 사실은 학습자가 그 개념을 모른다는 증거가 아니다.
- 전략적 활용(Strategic application): 목적에 맞게 요청을 조정하고 피드백을 활용하며 글이나 수업 자료를 수정하는 등의 사용 행동이다. 단순 사용 횟수와 같은 뜻은 아니다.
- 비판·윤리적 평가(Critical–ethical evaluation): 출처·편향·사생활·저자성 등을 검토하고 AI 결과를 수용·수정·거절하는 판단이다. 위험을 안다고 답한 것과 실제로 오류를 확인한 것은 다른 수준의 증거다.
- 주장과 측정의 정합성(Construct–measure alignment): 연구가 설명하려는 역량과 수집한 자료가 맞물리는 정도다. 설문 자체가 나쁜 도구라는 뜻이 아니라 설문으로 무엇을 말할 수 있는지를 분명히 하라는 요구다.
- 자기보고(Self-report): 학습자가 자신의 인식이나 행동을 답하는 자료다. 역량에 관한 직접 질문을 했더라도 그 응답은 실제 수행보다 지각한 역량을 보여 줄 수 있다.
연구 방법 (Method)
연구진은 Scopus·Web of Science·ERIC에서 관련 문헌을 검색했다. 1,596개 검색 기록 가운데 중복 491개를 제거한 뒤 1,105개 기록의 제목과 초록을 살폈다. 전문 검토 142편 중 115편을 제외해 실증 학술지 논문 27편을 최종 분석했다. 검색은 2026년 3월에 수행했으며, 포함된 연구의 발표 시기는 2024년부터 2026년 3월까지다. 학술대회 논문과 프리프린트를 포함한 모든 AI 교육 연구를 망라한 자료는 아니다.
분석에서는 연구의 개념화·대상·과제·도구·결과·해석을 추출하고 세 영역의 증거를 분류했다. 27편 중 22편은 적어도 한 영역에 직접적인 증거를 제공했고 5편은 간접 증거로 구분됐다. 직접 증거라는 이름만으로 수행 능력이 입증된 것은 아니다. 직접 측정한 변수가 자신감이라면 결론 역시 자신감의 범위에 머물러야 한다.
다영역 연구의 연결 깊이는 목적·과제·도구·결과·해석이라는 다섯 구성 요소 중 적어도 세 곳에서 실질적 연결이 나타나는지를 기준으로 읽었다. 이는 연구 보고의 여러 부분이 맞물리는 정도를 정리하기 위한 판정 기준이다. 인과 관계의 강도나 교육 효과의 크기를 수치화한 방식이 아니다.
신뢰도 확인을 위해 8편을 이중 코딩했으며 해당 코딩의 일치도 카파는 0.82였다. 이 값을 27편 전체의 독립 이중 심사나 모든 품질 판단의 신뢰도로 확대하면 안 된다. 품질 검토에서는 우려가 낮은 연구 4편, 일부 우려 17편, 높은 우려 6편으로 나눴으며 모두 종합에 남겼다. 따라서 최종 수록 여부 자체가 동일한 수준의 강한 근거를 뜻하지 않는다.
연구 결과 (Results)
전략적 활용은 27편 중 21편, 비판·윤리적 평가는 20편, 개념 이해는 15편에서 확인됐다. 한 논문이 여러 영역에 들어갈 수 있으므로 비율을 더해 100%가 되어야 하는 분류가 아니다. 이 차이는 기존 연구가 무엇을 더 자주 측정했는지를 보여 준다. 학생의 실제 능력이 전략적 활용에서 가장 높고 개념 이해에서 가장 낮다는 비교 결과가 아니다.
세 영역을 모두 다룬 연구는 14편, 두 영역은 6편, 한 영역은 2편이었다. 나머지 5편은 직접적인 영역 증거가 없는 간접 연구로 분류됐다. 다영역 연구 20편 중 18편은 구성 요소 사이의 실질적 연결을 보였고 2편은 명목적 연결에 머물렀다. 여러 영역을 포함한 연구가 많았다는 점과 이를 실제로 얼마나 연결했는지는 따로 읽어야 한다.
연구 대상은 대학 학습자 연구 16편과 교사교육 연구 11편으로 나뉘었다. 중국·한국·홍콩 등 특정 지역에 연구가 집중됐다. 이는 해당 종합에서 초·중등 학교급에 관한 직접 근거가 충분하지 않다는 뜻이다. 고등학생에게 사용하려는 설문이나 과제라면 문항 이해도·교과 맥락·도구 접근 조건을 다시 점검해야 한다.
결과를 해석하는 핵심은 증거별 역할이다. 자신감 설문은 학습자가 느끼는 준비 정도를 알려 준다. 화면 기록이나 프롬프트 수정은 상황 안에서 무엇을 했는지 보여 준다. 완성한 영어 글은 과제 결과를 보여 준다. 이들을 모으는 일이 의미 있으려면 각 자료가 어떤 주장에 답하는지 먼저 정해야 하며, 자료의 종류만 늘려서는 역량 평가가 정교해지지 않는다.
논의 및 결론 (Discussion and Conclusion)
저자들은 개념을 설명하고, 전략을 선택하며, 결과를 검증한 증거가 연구의 결론과 맞아야 한다고 제안한다. 특히 비판·윤리적 평가를 “AI가 위험할 수 있다”는 일반 태도로만 측정하면 실제로 출처를 확인하거나 편향을 수정할 수 있는지 말하기 어렵다. 반대로 자기보고 연구는 인식과 태도라는 목적에 맞게 해석하면 여전히 필요한 정보를 준다.
세 영역은 기존 연구를 비교하기 위한 잠정적 틀이다. 학습자가 반드시 개념 이해를 마친 뒤 활용하고 마지막에 비판적 평가에 도달한다는 순서를 검증하지 않았다. 모든 수업에서 세 영역을 같은 비중으로 다뤄야 한다는 결론도 아니다. 수업 목표가 영어 표현 수정이라면 그 과정을 좁고 깊게 볼 수 있고, 출처 검증 수업에서는 근거 대조와 수용 판단에 집중할 수 있다.
교실 적용안과 해석의 경계
영어 요약 과제에 적용한다면 학생에게 AI 사용 전 자신감을 간단히 묻고, 실제 평가 자료로는 원문 구절·AI 요약·학생의 수정 이유를 받는 방법을 생각할 수 있다. 예를 들어 AI가 원문의 제한 조건을 빠뜨렸다면 학생이 그 구절을 표시하고 왜 요약에 되돌려 넣었는지 설명하게 한다. 교사는 이 설명에서 출처 대조를 했는지와 제한 조건을 이해했는지를 구분해 읽는다. 이 활동은 종합 결과에서 도출한 제안으로, 논문이 직접 효과를 시험한 수업안은 아니다.
학생에게는 잘못된 답을 몇 개 잡았는지만 요구하기보다 무엇을 근거로 판단했는지 설명할 기회를 줄 수 있다. 교사는 AI가 틀리지 않은 사례도 포함해 무조건 의심하거나 거절하는 행동을 능력으로 오해하지 않도록 한다. 연수 담당자는 같은 학생 결과물에 대해 자신감·사용 과정·학습 성과를 각각 어떻게 해석할지 사례 토의를 구성할 수 있다.
시간이 짧거나 도구 접근이 어려운 수업에서는 여러 자료를 모두 수집하기 어렵다. 이때는 평가하려는 역량 하나와 그 역량을 보여 주는 짧은 설명을 선택하는 편이 낫다. 개인정보가 담긴 전체 대화 기록을 일괄 수집해야만 역량을 볼 수 있는 것도 아니다. 필요한 부분을 학생이 골라 제시하게 하는 방식은 여기서 제안한 운영상의 선택이다.
후속 연구 제안 (Future Research)
원문은 개념 이해와 실제 수행을 직접 확인하는 자료를 늘리고, 장기 변화와 학교급·언어·지역·자원 조건을 넓혀 볼 필요를 제시한다. 기존 척도를 다른 맥락에 옮길 때는 같은 이름의 영역이 실제로 같은 행동을 가리키는지 검토해야 한다. 자기보고와 행동 자료가 다를 때 그 차이를 오류로만 보지 않고 어떤 상황에서 생겼는지 분석할 수 있다.
학교 연구로 확장한다면 같은 영어 과제에서 자신감 응답, 근거 대조 기록, 최종 글의 질을 각각 수집하고 이들의 관계를 살피는 설계를 생각할 수 있다. 다만 단순한 전후 차이만으로 AI 활동의 인과 효과를 주장하기보다 교사의 피드백·과제 난도·학생의 사전 수준을 함께 고려해야 한다. 이는 후속 연구를 위한 제안이며 본 논문의 추가 실험 결과가 아니다.
주제어 (Keywords)
- 생성형 AI 리터러시 / Generative AI literacy
- 영어교육 / English language education
- 주장과 측정의 정합성 / Construct–measure alignment
- 자기보고와 수행 증거 / Self-report and performance evidence
- 비판·윤리적 평가 / Critical–ethical evaluation
3. APA 인용과 근거 위치
Zhang, Y., Qiu, X., & Wang, J. (2026). A systematic research synthesis of generative AI literacy in English language education. Discover Artificial Intelligence, 6, Article 1074. https://doi.org/10.1007/s44163-026-02178-z
- 원문: https://link.springer.com/article/10.1007/s44163-026-02178-z
- DOI: https://doi.org/10.1007/s44163-026-02178-z
- 근거 위치: 문헌 검색·선정 방법에서 1,596→27편의 절차를, 결과의 영역별 증거와 통합 수준에서 21·20·15편 및 18/20편을 확인할 수 있다.
- 해석 위치: 논의와 결론은 자기보고·과제·산출물의 해석 범위와 세 영역의 잠정성을 설명한다. 교실 적용안은 본 분석문의 제안이다.
- 서지 확인: 출판사와 Crossref의 저자·온라인 발행일·논문번호를 대조했으며 Semantic Scholar로 보강했다.