논문 상세 분석 — 학생은 생성형 AI에 '어떻게' 기대는가: 학술 글쓰기 AI 의존 유형 척도(GenAI-RTS)의 개발과 다원적 타당화

📄 논문 상세 분석 — 학생은 생성형 AI에 '어떻게' 기대는가: 학술 글쓰기 AI 의존 유형 척도(GenAI-RTS)의 개발과 다원적 타당화

자동 생성: 2026-07-18 · 추천 논문(ED-04) · 출처 신뢰도: 중상(arXiv 프리프린트·원문 WebFetch 검증 — 동료심사 전)
원문(바로 열기): https://arxiv.org/abs/2607.14301

---

1. 📄 논문 요약 (Abstract)

생성형 AI가 대학 글쓰기 수업에 빠르게 스며들었지만, 지금까지의 연구는 학생이 AI를 '쓰는지 안 쓰는지'(사용 여부)만 물었을 뿐 '어떤 방식으로 기대는지'(의존 유형, reliance types)를 측정할 도구가 없었다. 이 연구는 그 공백을 메우기 위해 생성형 AI 의존 유형 척도(Generative AI Reliance Types Scale, GenAI-RTS) 20문항을 개발하고 여러 증거원(설문·면접·Rasch 분석)으로 타당화했다. 이론적으로 네 가지 의존 유형 — 전략적(Strategic), 도구적(Instrumental), 의존적(Dependent), 대화적(Dialogic) — 을 상정하고, 문헌 기반으로 25문항을 연역적으로 생성한 뒤 전문가 검토를 거쳐 20문항으로 정련했다. 미국 중부대서양 지역의 공립 R1 소수자우대대학(Minority-Serving Institution, MSI) 학부생 382명 설문과 14명 심층 면접을 분석한 결과, 전략적 의존이 숙고적 사용(Deliberate Use)과 비판적 평가(Critical Evaluation)의 두 하위 측면으로 갈라지는 5요인 구조가 가장 적합했다(CFI = .916, RMSEA = .079, SRMR = .088; ω = .75–.88). 전략적 의존은 AI 리터러시(AI literacy) 종합 점수와 강한 정적 상관(r = .61)을 보였고, 학생을 지배적 의존 유형으로 나누면 글쓰기 과정·성과 관련 10개 변수 전부에서 유의한 차이가 났다(η² = .166–.329). 성별·1세대 대학생 여부·STEM 전공 여부에 걸쳐 척도 측정 불변성(scalar invariance)이 확인되어, 집단 간 평균 비교가 정당함을 보였다. 다만 면접에서 학생들은 하나의 유형에 고정되지 않고 과제·상황에 따라 여러 패턴을 오갔으며, '의존적' 사용은 과거형으로만 진술되어 과소보고 가능성이 지적됐다. 결론적으로 이 척도는 "AI 사용 = 부정행위"라는 이분법을 넘어, 교수자가 학생의 AI 사용 질(質)을 진단하고 지도할 수 있는 첫 다차원 도구를 제공한다.

2. 📊 논문 구조별 주요 정보 정리

연구의 필요성 및 목적

• 기존 도구는 생성형 AI 사용 빈도·수용 태도만 측정 → 같은 '사용자'라도 검증하며 협업하는 학생과 통째로 맡기는 학생을 구분하지 못함.
• 목적: 학술 글쓰기 맥락에서 AI 의존의 질적 유형을 측정하는 척도를 개발하고, 심리측정적 타당도·신뢰도·집단 간 측정 불변성을 다원적으로 검증.
• 표본을 MSI(소수자우대대학)로 설정해, 형평성 논의에서 소외되기 쉬운 다양한 학생 집단에서의 타당도를 처음부터 확보.

연구 문제

• ① GenAI-RTS의 요인 구조는 이론적 4유형 모형과 부합하는가(경쟁 모형 대비)?
• ② 각 하위척도는 신뢰할 수 있고(내적 일관성), 수렴·변별·준거 타당도 증거를 갖는가?
• ③ 성별·1세대 여부·전공(STEM/비STEM)에 걸쳐 측정 불변성이 성립하는가?
• ④ 학생의 실제 응답 과정(면접)과 Rasch 척도 기능 분석은 문항 해석을 지지하는가?

용어의 정의 (한글 설명 + 영어 병기)

| 의존 유형 (요인) | 정의 | 이론적 뿌리 | 문항 수 |

|---|---|---|---|

| 전략적–숙고적 사용 (Strategic – Deliberate Use) | 목표에 맞춰 계획적으로 AI를 쓰고 사용 여부를 스스로 조절 | 메타인지적 조절(계획·점검) | 4 |

| 전략적–비판적 평가 (Strategic – Critical Evaluation) | AI 산출물을 반영하기 전 검증·평가 | 비판적 AI 리터러시 | 4 |

| 도구적 의존 (Instrumental Reliance) | 효율을 위해 개별 글쓰기 과업을 AI에 위임 | 표면적 학습 접근 | 4 |

| 의존적 의존 (Dependent Reliance) | 무비판적 수용을 동반한 통째 외주화 | 과의존·학습된 무기력 | 4 |

| 대화적 의존 (Dialogic Reliance) | 상호작용을 통한 아이디어의 반복적 공동 구성 ("생각 파트너") | 사회문화적 공동 구성 | 4 |

• 측정 불변성(measurement invariance): 서로 다른 집단에서 문항이 같은 의미로 작동해 점수 비교가 정당한지 검증하는 절차.
• 소수자우대대학(Minority-Serving Institution, MSI): 소수 인종·민족 학생 비율이 높은 미국 대학 유형.

연구 방법

• 문항 개발: 이론틀에서 25문항 연역 생성 → 교수 전문가 3인(연구방법·교육공학·리터러시) 검토로 5문항 제거(중복 3, 정합성 미흡 2) → 최종 20문항, 7점 리커트. 예비 설문(n = 143)은 문구 다듬기에만 활용.
• 본검사 표본: 공립 R1 MSI 학부생 N = 382(평균 20.8세; 여성 48.7%·남성 42.7%·논바이너리/트랜스젠더 6.5%; 백인 34.3%·흑인 27.2%·아시아계 24.9%·히스패닉 7.6%; 1세대 33.5%; STEM 54.2%).
• 분석: 경쟁 모형(1~4요인·고차 모형) 대비 확인적 요인분석(CFA), 신뢰도(α·ω·AVE), HTMT 변별 타당도, 외부 준거 상관, 다집단 측정 불변성, Rasch 평정척도 분석.
• 질적 검증: 최대변량표집 면접 14명(평균 46분), 약 10번째 면접에서 주제 포화 — 문항이 의도한 행동을 실제로 반영하는지(응답 과정 타당도) 확인.

연구 결과

• 요인 구조: 5요인 모형(M5)이 최적 — χ²(160) = 535.3, CFI = .916, TLI = .900, RMSEA = .079, SRMR = .088 (DWLS 추정 시 CFI = .976). 20문항 중 19개 요인부하 ≥ .66(예외: DEL3, λ = .25 → 개정 권고).
• 신뢰도: ω = .75–.88 (숙고적 사용 .75, 비판적 평가 .85, 도구적 .88, 의존적 .88, 대화적 .86).
• 수렴 타당도: 전략적 의존 ↔ AI 리터러시 종합 r = .61, 핵심 AI 리터러시 r = .51, 사전 AI 노출 r = .55(모두 p < .001). 의존적 의존 ↔ AI 보조 글쓰기 자기효능감 r = .64.
• 변별 타당도: 잠재요인 상관 −.07(비판적 평가↔의존적)부터 .89(도구적↔대화적)까지 — 비판적 평가와 의존적 의존은 사실상 독립, 도구적·대화적은 상당히 중첩.
• 준거 타당도: 지배적 유형 집단 간 글쓰기 과정·지각된 성과 10개 변수 전부 유의(모두 p < .001, η² = .166–.329; 예: 독창성 d = 0.45, 비판적 사고 d = 0.41에서 대화적 > 도구적).
• 측정 불변성: 성별·1세대 여부·STEM 여부 3개 구분 모두 스칼라 불변성 성립(ΔCFI ≤ .01) → 집단 간 평균 비교 정당.
• Rasch 분석: 7점 척도의 중간 범주가 제대로 기능하지 않음(20문항 중 18개에서 역치 역전) → 5점 척도로 축소 개정 권고.
• 면접 결과: 문항–행동 정합 확인. 단 ① 전원이 상황별로 복수 유형을 오감(점수 = 고정 유형이 아닌 프로파일), ② 의존적 사용은 과거형으로만 진술(과소보고 가능), ③ '숙고적 절제'가 학습 전략이 아닌 학사 징계 두려움에서 나올 수 있음.

논의 및 결론

• AI 사용을 '허용 vs 금지'가 아니라 의존의 질로 진단하는 다차원 렌즈 제공 — 같은 사용 시간이라도 전략적/의존적 프로파일의 교육적 의미는 정반대.
• 전략적 의존–AI 리터러시의 강한 상관은 AI 리터러시 교육이 건강한 의존 양식과 동행함을 시사(단, 횡단 자료라 인과 방향은 미확정).
• 도구적↔대화적 상관(.89)이 높아 두 유형의 경계는 후속 정련 필요.
• 교사 시사점: 학생의 AI 사용 지도 시 "썼는가"가 아니라 "검증했는가, 대화했는가, 통째로 맡겼는가"를 묻는 진단·상담 틀로 활용 가능(단, 진단 활용의 결과 타당도 검증은 아직 과제).

후속 연구 제안

• 5점 척도 개정판 및 DEL3 문항 재작성 후 재검증; 단일 기관 표본의 타 기관·타 문화권 반복 검증.
• 인종·민족 집단 및 논바이너리 집단(n = 25로 불변성 검증 불가)의 대규모 불변성 검증.
• 의존 프로파일의 종단적 변화 추적, 글쓰기 외 과제(문제해결 등)로의 일반화, 학습 성과 연결 기제 규명.
• 자기보고가 아닌 독립 평가된 글쓰기 질을 준거로 한 타당도 보강, 진단·지도 맥락에서의 결과 타당도(consequences) 검증.

주제어 (한글 + 영문)

생성형 인공지능(Generative Artificial Intelligence) · 챗GPT(ChatGPT) · AI 리터러시(AI Literacy) · 측정 불변성(Measurement Invariance) · 척도 개발(Scale Development) · 고등교육(Higher Education)

3. 📚 APA 인용 형식

Hossain, S., & Nawmi, T. A. (2026). *Measuring how students rely on generative AI in academic writing: Development and multi-source validation of the Generative AI Reliance Types Scale (GenAI-RTS)*. arXiv. https://arxiv.org/abs/2607.14301

인용맥락메모: 학생의 생성형 AI 사용을 '사용 여부'가 아닌 '의존의 질'로 구분·측정해야 한다는 주장, 그리고 AI 리터러시 교육이 전략적(건강한) AI 의존과 동행한다는 주장의 실증 근거로 인용 가능.