논문 상세 분석 — AI 조언 앞에서 사라지는 "모르겠다": 조언이 틀리고 정확성에 돈이 걸려도 판단 유보는 회복되지 않는다

📄 논문 상세 분석 — AI 조언 앞에서 사라지는 "모르겠다": 조언이 틀리고 정확성에 돈이 걸려도 판단 유보는 회복되지 않는다

자동 생성: 2026-07-20 · 추천 논문 · 출처 신뢰도: 중상(arXiv 프리프린트·원문 PDF 전문 검증 — 동료심사 전)
원문(바로 열기): https://arxiv.org/abs/2607.13562

---

1. 📄 논문 요약 (Abstract)

불확실할 때 "모르겠다"라고 판단을 유보하는 능력은 잘못된 믿음에 따라 행동하는 것을 막아 주는, 인간 판단의 근본 요소다. 그런데 AI 어시스턴트는 거의 모든 질문에 유창한 답을 즉시 내놓는다 — 이 연구는 "AI에게 물어볼 수 있다는 사실 자체가, 애초에 답할지 말지를 정하는 기준을 바꾸는가"를 5개 실험(총 N=3,132; 4개 사전등록, 1개 직접 재현)으로 검증했다. 연구진은 영화 속 사소한 시각적 세부(예: 특정 영화 속 유니폼 색)를 묻는 6개 질문을 골라, 실험에 쓴 LLM(Step 3.5 Flash)이 거의 예외 없이 오답(환각)을 내도록 설계함으로써 "AI를 쓰는 것"과 "AI가 정확한 것"을 분리했다. 결과는 일관되고 극명했다: AI 조언에 접근할 수 있다는 것만으로 판단 유보가 거의 소멸했다(예: Study 1a 유보 비율 0.36→0.06, Study 1b 0.44→0.03, 모두 p<.001). 이 효과는 조언을 직접 요청한 경우(Study 1~3)든 요청 없이 자동으로 표시된 경우(Study 4)든 동일하게 나타났다. 그 결과 무보상 조건에서 AI 접근 집단은 더 많은 질문에 답했지만 정답률은 AI 없는 집단의 약 1/3에 그쳤고(합산 정답률 27.5% vs 9.2%), 확신도는 오히려 약 2.5배로 치솟았다(평균 29.6 vs 75.9). 정답에 $0.10 보상·오답에 $0.10 벌금을 걸자 참가자들은 AI 조언을 덜 찾고 덜 따르며 정답률이 오르고 유보도 다소 늘었지만, AI가 없을 때 수준에는 크게 못 미쳤고, 사전등록했던 "AI가 보상 효과를 무디게 할 것"이라는 AI×보상 상호작용 가설은 3개 실험 모두에서 기각됐다(둘은 대체로 독립적으로 작동). 저자들은 유창한 답이 존재한다는 사실 자체가 "내가 답할 만큼 아는가"를 판정하는 메타인지 문턱을 낮춘다고 해석하며, AI 제안이 편재화·비요청화되는 시대에 가장 먼저 희생되는 것이 "모르겠다"일 수 있다고 경고한다. 인간의 조언 활용 연구에서 통상 관찰되는 '자기중심적 할인'(남의 조언을 1/3만 반영)과 정반대의 과잉 순응이라는 점에서 학술적 의의가 크고, AI 리터러시 교육의 핵심 목표를 시사하는 연구다.

2. 📊 논문 구조별 주요 정보 정리

연구의 필요성 및 목적

• LLM은 지식 공백 앞에서도 불확실성을 인정하지 않고 유창한 답을 내놓는 경향이 있음. 기존 과의존 연구(인지 오프로딩·탈숙련·'인지적 항복' 등)는 사람이 결국 맞았는지/틀렸는지를 봤을 뿐, "답 자체를 유보하는가"는 측정된 적이 없었음.
• 연구 목적: AI 조언의 '이용 가능성'만으로 판단 유보(judgment suspension)가 달라지는지를, AI 정확성이라는 교란을 제거한 설계(조언이 거의 항상 틀리게 설계)로 검증.
• 조언을 따르는 것이 보통은 합리적이라는 해석상 난점을, "틀린 조언"을 통해 원천 차단 — 유보 감소가 '효율적 위임'이 아니라 'AI 산출물에 대한 순응'임을 식별.

연구 문제

• RQ1: AI 조언에 접근할 수 있으면(요청형) 판단 유보가 줄어드는가? (Studies 1a–1b)
• RQ2: 정확성에 금전적 보상·벌금을 걸면 유보가 회복되는가? AI 가용성이 보상 효과를 무디게 하는가(사전등록: 음(−)의 AI×보상 상호작용)? 확신도·정답률은 어떻게 변하는가? (Studies 2–3)
• RQ3: 조언을 요청하지 않아도 자동으로 표시되면(비요청형) 효과가 유지되는가? (Study 4)

용어의 정의 (한글 설명 + 영어 병기)

• 판단 유보(judgment suspension): 불확실할 때 답을 내지 않고 보류하는 것. 본 연구에서는 6개 질문 중 "모르겠다"·무응답·비응답성 입력의 비율로 조작적 정의(저자 2인 수동 코딩; 잠정적 추측 "green?" 등은 유보로 치지 않음).
• 에피스테미아(epistemia): 검증이 아니라 표면적 그럴듯함·문장의 유창함 때문에 AI 산출물을 수용하는 경향(Loru et al., 2025; Quattrociocchi et al., 2025).
• 인지적 항복(cognitive surrender): 틀린 AI와 상호작용한 사람이 덜 정확해지면서 더 확신하게 되는 현상(Shaw & Nave, 2026). 본 연구는 여기서 더 나아가 '답 자체의 보류'를 측정.
• 자기중심적 할인(egocentric discounting): 사람은 보통 타인의 조언을 약 1/3만 반영해 독립적 판단을 보호함(Bonaccio & Dalal, 2006) — 본 연구 참가자들은 정반대로 행동.
• 환각(hallucination): LLM이 사실이 아닌 답을 지어내는 현상. 온라인 텍스트에 거의 없는 영화 속 세부 사항 질문으로 유도.
• 자동화 편향(automation bias): 자동화된 보조 도구에 대한 과잉 의존·감시 소홀(Parasuraman & Manzey, 2010).

연구 방법

• 참가자: Prolific 모집, 총 N=3,132 — Study 1a 314, 1b 310, 2 812, 3 843, 4 853(1b 이후 미국 거주자 한정·이전 연구 참가자 제외, 중복 ID는 첫 제출만 유지). 기본 보수 £0.30.
• 공통 과제: 영화 속 세부를 묻는 동일한 6개 질문(예: "Bend It Like Beckham" 팀 유니폼 색, "그랜드 부다페스트 호텔" 아가사의 시그니처 헤어스타일 등). 언제든 답변 거부 가능.
• AI 조언: StepFun의 Step 3.5 Flash(참가자에게 모델명 비공개) — 이 질문들에 거의 예외 없이 오답. 최신 모델(GPT-5.5, Claude 4.6 Sonnet, Gemini 3.5 Flash)도 최난도 문항에서는 모두 오답(SI S1.1).
• 설계:

| 실험 | N | 설계 | AI 조언 전달 | 특징 |

|---|---|---|---|---|

| 1a | 314 | AI 가능 vs 없음(2조건) | 실시간 질의 | 사전등록(aspredicted) |

| 1b | 310 | 동일 | 사전 생성한 오답 3개 중 무작위 표시 | 1a 직접 재현(도구 오작동 배제; 비사전등록) |

| 2 | 812 | 2(AI)×2(보상) 집단간 | 요청 시 표시 | 정답 +$0.10/오답 −$0.10/유보 $0 + 확신도(0–100) 측정 |

| 3 | 843 | 동일 | 요청 시 표시 | 매 문항 보상 상기, 확신도 제거 |

| 4 | 853 | 동일 | 자동 표시(비요청) | 비요청 조언 효과 검증 |

• 분석: 1a–1b는 단측 독립표본 t검정, 2–4는 사전등록된 선형회귀(AI×보상 상호작용). 유보·정답 코딩은 저자 2인 수동(일치 거의 완전). 데이터·코드·사전등록: OSF(osf.io/nwx6r).

연구 결과

• AI 접근 → 판단 유보 거의 소멸(모든 실험 일관):

| 실험 | 조건 | 유보(AI 없음) | 유보(AI 있음) | 통계 |

|---|---|---|---|---|

| 1a | — | 0.36 | 0.06 | t=8.295, p<.001 |

| 1b | — | 0.44 | 0.03 | t=11.772, p<.001 |

| 2 | 무보상 / 보상 | 0.17 / 0.21 | 0.01 / 0.02 | b=−0.159 / −0.193, 모두 p<.001 |

| 3 | 무보상 / 보상 | 0.32 / 0.41 | 0.02 / 0.08 | b=−0.300 / −0.329, 모두 p<.001 |

| 4(자동 표시) | 무보상 / 보상 | 0.35 / 0.39 | 0.01 / 0.07 | b=−0.333 / −0.322, 모두 p<.001 |

• 정확도 역설: 무보상 조건 합산 정답률 — AI 없음 27.5% vs AI 있음 9.2%(약 1/3). 더 많이 답했지만 훨씬 덜 맞음 → AI 조언이 '맞힐 수 있었던 답'까지 오답으로 전환.
• 확신도 역설(Study 2): AI 접근 시 평균 확신도 29.6→75.9(무보상), 37.7→73.5(보상) — 정확도가 떨어지는데 확신은 약 2.5배. 보상×AI 상호작용 유의(b=−10.509, p=.006).
• 금전 보상의 효과: ① AI 조언 요청 감소(Study 2: 6문항 중 5.44→4.93회, p=.002; Study 3: 5.27→4.53회, p<.001), ② AI 있을 때 정답률 상승(Study 3: 0.11→0.16, p=.002; Study 4: 0.07→0.14, p<.001 — 정답률에서만 AI×보상 상호작용 유의), ③ 유보 소폭 증가(Study 3: AI 없음 0.32→0.41, p=.022; AI 있음 0.02→0.08, p<.001). 그러나 유보는 AI 없는 조건 수준으로 회복되지 않음.
• 사전등록 가설 기각: "AI가 보상의 유보 증진 효과를 무디게 할 것"(음의 AI×보상 상호작용)은 Studies 2–4 모두 비유의(p=.312/.506/.784 — 본문 종합 서술 기준 p=.274/.506/.784) → AI 가용성과 보상은 대체로 독립적으로 작동.
• 비요청 조언도 동일(Study 4): 요청 절차 없이 자동 표시만 되어도 유보 소멸 효과 그대로 유지.

논의 및 결론

• 조언이 거의 항상 틀리게 설계됐으므로, 유보 소멸은 '신뢰할 만한 도구에의 합리적 위임'으로 설명 불가 — 유창한 답의 존재 자체가 "답할 만큼 아는가"의 메타인지 문턱을 낮춘다는 해석.
• 두 가지 결론: ① 유보 소멸은 고정된 인지적 한계가 아니라 맥락적 반응(보상이 동기를 주면 자기 판단을 일부 회복 — AI가 바꾸는 것은 능력이 아니라 의지), ② 그러나 작은 보상으로는 크게 남는 잔여 효과 — AI에 순응하려는 견인력은 강함.
• 통상적 조언 활용(1/3만 반영하는 자기중심적 할인)과 정반대이며, 자기 신념과 어긋나는 단서는 보통 확신을 낮추고 유보를 늘려야 하는데 오히려 반대로 작동 — 유창한 답이 숙고를 조기 종결시킨 듯한 패턴.
• 인터넷 검색이 자기 지식 과대평가를 낳는다는 기존 연구(Fisher et al., 2015; 교류기억)를 "실제로 존재하지도 않는, 틀린 생성형 답변"으로까지 확장. 검색과 달리 생성 모델은 상충 소스 없이 단 하나의 단정적 답을 주므로 '멈춤'을 유발할 마찰이 제거되어 위험이 더 날카로움.
• 핵심 질문은 "AI를 쓰느냐"가 아니라 "어떤 조건에서 사용자가 독립적 메타인지 통제를 유지하느냐".

후속 연구 제안

• AI 리터러시: LLM이 언제·어떻게 실패하는지 가르치면 판단 유보가 회복되는지(인지적 항복 예방) 검증.
• 기제 규명: 유보 소멸이 AI 신뢰 때문인지, 답의 가용성이 응답의 지각 비용을 낮춰서인지, 유창성이 메타인지 신호를 단락시켜서인지 구분.
• 경계 조건: AI 조언이 대체로 정확할 때도 유보가 같은 정도로 붕괴하는지(본 연구는 오답 조건만 검증), 금전이 아닌 실제적 결과·더 큰/평판적 보상의 효과.
• 검증 행동 측정: AI를 무시하고 정답을 낸 참가자가 다른 소스를 참조했는지 직접 기록.
• (한계) 단일 자극 유형(영화 세부 질문), 조언이 거의 항상 오답인 조건만 검증, 검증 행동 미기록, 보상 규모가 소액.

주제어 (한글 + 영문)

• 인공지능(Artificial Intelligence) · 대형언어모델(Large Language Models) · 에피스테미아(Epistemia) · 판단(Judgment) · 인식적 정렬(Epistemic alignment) · 인지적 항복(Cognitive surrender) · 인간-기계 상호작용(Human-machine interaction) · 비판적 사고(Critical thinking)
• 저자 소속: Marcoccia — 파리 고등사범학교(ENS), Quattrociocchi — 로마 라 사피엔차대, Capraro — 밀라노-비코카대 (교신: valerio.capraro@unimib.it)

3. 📚 APA 인용 형식

Marcoccia, C., Quattrociocchi, W., & Capraro, V. (2026). *AI advice suppresses people's willingness to say "I don't know", even when the advice is wrong and accuracy is incentivized* [Preprint]. arXiv. https://doi.org/10.48550/arXiv.2607.13562

4. 🏫 교육 현장 활용 포인트 (고교 교사 관점)

• "모르겠다"를 평가·수업 문화에서 보상하기: AI 조언이 유보를 거의 소멸시키지만 인센티브가 있으면 부분 회복된다는 결과는, 수행평가·퀴즈에서 '근거 없는 추측'보다 '판단 유보 + 확인 계획'에 부분 점수를 주는 설계가 학생의 메타인지 문턱을 지키는 실질적 장치가 될 수 있음을 시사한다.
• AI 리터러시 수업의 초점 이동: "AI 답을 검증하라"는 일반론보다, 이 논문의 핵심 — 유창한 답의 존재 자체가 확신을 2.5배로 부풀리고 정확도를 1/3로 떨어뜨릴 수 있다(무보상 조건 27.5%→9.2%) — 를 데이터로 보여 주는 것이 효과적이다. 논문의 영화 세부 질문 방식(온라인 텍스트에 없는 세부 → 환각 유도)은 교실 시연 실험으로 그대로 재현하기 좋다.
• 비요청 AI 노출 관리: 요청하지 않아도 자동 표시된 조언(검색 AI 요약·작문 보조 제안)만으로 동일한 유보 소멸이 나타났다(Study 4). 학생이 검색·문서 도구의 기본 AI 요약에 상시 노출되는 환경에서는, 과제 단계별로 'AI 접촉 전 자기 답안 먼저 기록' 같은 절차적 마찰을 넣는 것이 근거 있는 개입이다.
• 탐구·논술 지도에서 '판단 유보'를 역량으로 명시: 저자들이 "AI가 바꾸는 것은 능력이 아니라 의지"라고 결론지은 만큼, 채점 루브릭에 '불확실성 인정과 한계 진술' 항목을 명시해 동기 구조 자체를 바꾸는 접근이 이론적 근거를 갖는다.