- 대상 논문: Hou et al. (2026), “The effects of critical thinking intervention on reliance behaviors, problem-solving quality, and creativity during human-generative AI collaborative learning”
- 원문: https://www.sciencedirect.com/science/article/pii/S036013152600014X
- DOI: https://doi.org/10.1016/j.compedu.2026.105576
핵심 판정
이 연구가 확인한 것은 비판적 사고 개입이 학생의 비판적 사고 능력 전반을 높였다는 결과가 아니다. 대학생 226명을 개입 조건과 비교 조건에 배정한 단기 인간–생성형 AI 협력 문제기반학습에서 자기보고 비판적 사고는 유의하게 향상되지 않았다. 무비판적 AI 사용의 감소는 한계적이었지만, AI 생성 내용을 그대로 채택하는 행동은 유의하게 줄었고 개입 집단의 보고서는 독창성과 아이디어 밀도가 더 높았다. 공개 초록에는 문제해결의 질 전반이 유의하게 향상됐다는 결과가 제시되지 않는다.
1. 연구 목적
연구진은 생성형 AI와 함께 문제를 해결할 때 비판적 사고를 촉진하는 수업 장치가 학생의 AI 의존 행동, 문제해결 산출물, 창의성에 어떤 차이를 만드는지 검토했다. 핵심 질문은 AI 사용을 막을 수 있는지가 아니라, 학생이 AI 제안을 곧바로 받아들이지 않고 검토하도록 수업을 설계할 수 있는지였다.
2. 연구 설계와 표본
- 맥락: 고등교육의 인간–생성형 AI 협력 문제기반학습
- 표본: 대학생 226명
- 조건: 비판적 사고 개입이 있는 실험 조건과 개입이 없는 비교 조건
- 기간: 단회 2시간 활동으로 보고된 짧은 개입
- 개입 요소: 실제적 문제를 다루는 수업, 구조화된 대화, AI 지원 동료 멘토링
- 측정: 사전·사후 설문으로 신뢰, 자기보고 비판적 사고, AI 의존 행동을 측정하고 집단 보고서와 대화 기록으로 문제해결 산출물과 창의성을 분석
이 설계는 짧은 활동 직후의 조건 간 차이를 확인하는 데 적합하지만, 장기적인 비판적 사고 능력의 변화나 다른 과제로의 전이를 검증한 설계는 아니다.
3. 주요 결과
- 자기보고 비판적 사고: 유의한 향상이 확인되지 않았다.
- 무비판적 생성형 AI 사용: 감소 방향은 있었지만 한계적 수준이었다.
- AI 생성 내용의 직접 채택: 개입 집단에서 유의하게 감소했다.
- 창의성: 개입 집단의 집단 보고서가 더 높은 독창성과 아이디어 밀도를 보였다.
- 문제해결의 질: 공개 초록은 이를 유의한 향상 결과로 보고하지 않는다. 따라서 문제해결의 질 전반이 개선됐다고 요약해서는 안 된다.
4. 결과가 뜻하는 것
두 시간의 개입으로 폭넓은 비판적 사고 능력이 바로 높아지지는 않았지만, 학생이 생성형 AI의 답변을 그대로 가져오는 행동은 줄일 수 있었다. 이 차이는 능력의 향상과 과제 중 행동의 변화를 구분해야 한다는 뜻이다. 이 연구는 “비판적 사고 수업이 학습 성과를 높였다”는 근거보다 “AI 답변을 검토하도록 만든 구조가 직접 채택을 줄였다”는 근거로 쓰는 편이 정확하다.
5. 확인되지 않은 주장
- 개입이 학생의 비판적 사고 능력을 유의하게 높였다는 주장은 지지되지 않는다.
- 문제해결의 질 전반이 향상됐다는 주장은 공개 결과로 확인되지 않는다.
- 효과가 장기간 유지되거나 AI 없이 수행하는 새 과제로 전이됐다는 근거는 없다.
- 고등학생, 모든 교과, 개인 과제에서도 같은 효과가 난다고 일반화할 수 없다.
6. 평가 설계에 주는 시사점
연구에서 직접 확인된 평가지표는 자기보고 설문, 집단 보고서, 대화 기록이다. 따라서 이 논문은 AI 사용 여부를 탐지하는 방식보다 AI 제안을 직접 채택했는지, 어떤 제안을 검토하고 거절했는지, 최종 산출물에 어떤 판단을 반영했는지를 과정 자료로 확인할 필요가 있다는 논거를 제공한다. 다만 구술 확인, 개별 판단 기록, 재수행 절차의 구체적인 학교 적용 효과를 이 연구가 직접 검증한 것은 아니다.
7. 현장 적용 제안(연구 결과가 아니라 추론)
아래 제안은 연구 결과를 학교 평가에 옮긴 해석이며, 논문에서 직접 효과를 검증한 처방이 아니다.
- AI 허용 과제에 “의심한 제안, 거절한 제안, 최종 선택 이유”를 짧게 기록하게 한다.
- 완성본만 채점하지 않고 학생이 AI 제안을 어떻게 수정했는지 한 장면을 확인한다.
- 집단 보고서와 별도로 개인이 핵심 판단 하나를 설명하게 해 집단 산출물과 개인 이해를 구분한다.
- 전체 대화 기록을 수집하기보다 성취기준과 직접 관련된 최소한의 과정 자료만 남긴다.
- 도입 뒤에는 직접 채택률, 학생 설명의 질, 교사 확인 시간, 개인정보 부담을 함께 점검한다.
8. 한계와 일반화 경계
개입이 짧고 고등교육의 협력 문제기반학습 한 맥락에 한정된다. 자기보고 비판적 사고가 유의하게 달라지지 않았으며, 행동 변화가 장기적으로 지속되는지 알 수 없다. 집단 보고서와 대화 기록에서 관찰한 창의성 결과를 개인의 독립적 문제해결 능력으로 바꿔 말해서도 안 된다. 학교 현장에 적용하려면 연령, 교과, 과제 난이도, 사전지식, AI 접근 격차를 고려한 별도 검증이 필요하다.
9. 인용 맥락
이 논문은 “짧은 비판적 사고 개입이 학생의 비판적 사고 능력 자체를 높이지는 못했지만, 생성형 AI 산출물을 그대로 채택하는 행동을 줄이고 집단 산출물의 독창성을 높였다”는 제한된 주장에 사용할 수 있다. “비판적 사고 개입이 문제해결의 질과 학습 성과를 높였다”는 주장의 근거로는 사용할 수 없다.
10. APA와 확인처
Hou, C., Zhu, G., Liu, Y., Sudarshan, V., Chong, J. L. L., Zhang, F. Y., Tan, M. Y. H., & Ong, Y. S. (2026). The effects of critical thinking intervention on reliance behaviors, problem-solving quality, and creativity during human-generative AI collaborative learning. Computers & Education, 247, 105576. https://doi.org/10.1016/j.compedu.2026.105576
최종 확인처는 출판사 원문이다: https://www.sciencedirect.com/science/article/pii/S036013152600014X