Recognizing Is Not Reversing: A Controlled Inversion Test of Fact-Preserving News Framing
Yi Liu · arXiv:2609.11769 · 2026년 9월 10일 · 동료심사 전 프리프린트
1. 논문 요약 (Abstract)
뉴스의 사실관계가 유지돼도 평가어·행위자 배치·정보 순서에 따라 특정 대상을 유리하거나 불리하게 보이게 할 수 있다. 이 연구는 AI가 그런 편향을 알아보는 능력과 실제로 되돌려 쓰는 능력을 구분해 시험했다. 저자는 영어 뉴스 60개에 고정된 사실 목록을 두고 세 편집 유형과 세 강도를 조합해 540개 변형을 만들었다. 세 언어모델은 편향 유형과 방향을 판단한 뒤 그 판단을 참고해 중립적인 기사로 다시 썼다. 수정문의 사실 관련 지표 FactF1은 0.834~0.840이었다. 반면 주입된 편집을 되돌린 비율 IRR은 0.044~0.068에 그쳤다. 편향 유형과 방향을 모두 맞힌 경우에도 주입 편집 1,052개 중 75개만 되돌렸다. 이 결과는 사실을 유지했다거나 편향을 인식했다는 사실만으로 중립적 재작성이 성공했다고 볼 수 없음을 보여 준다. 다만 합성 영어 기사와 규칙 기반 복원 지표를 사용한 통제 실험이므로 실제 뉴스 전반의 중립성이나 학생의 미디어 리터러시 효과를 판정하는 근거로 확대할 수는 없다.
2. 논문 구조별 주요 정보
연구의 필요성 및 목적
AI에게 “이 기사의 편향을 찾아 중립적으로 고쳐 달라”고 요청하면 분석과 수정문이 함께 나온다. 분석이 설득력 있게 보일수록 수정문도 좋아졌다고 생각하기 쉽다. 그러나 어떤 표현이 문제인지 설명하는 일과 그 표현이 만든 방향성을 실제 문장에서 없애는 일은 서로 다른 작업이다.
기존 기사에는 사실 오류와 가치 판단이 섞여 있을 수 있어 무엇이 바뀌어야 하는지 정답을 정하기 어렵다. 이 연구는 먼저 사실을 고정한 기사를 만들고 어떤 편집을 주입했는지 기록해 비교 기준을 확보했다. 목적은 모든 뉴스의 객관성을 정의하는 데 있지 않다. 알려진 편집을 모델이 인식하고 되돌릴 수 있는지를 통제된 조건에서 시험하는 데 있다.
연구 문제
연구의 중심 질문은 세 가지로 읽을 수 있다. 첫째, 모델은 사실을 유지한 방향성 편집의 종류와 유리·불리한 방향을 맞히는가. 둘째, 기사를 다시 쓸 때 사실을 보존하면서 그 편집을 되돌리는가. 셋째, 유형과 방향을 맞힌 경우에는 복원도 더 잘하는가. 편집 유형과 강도를 바꾼 비교는 어떤 변화가 특히 남기 쉬운지도 살핀다.
이 질문에서 인식은 답변의 분석 부분을, 복원은 실제 수정문을 평가한다. 모델이 “강한 평가어를 완화했다”고 말해도 최종 문장이 그대로라면 복원 성공이 아니다. 자기 설명을 결과물에 대한 독립적 검증처럼 사용하지 않는 것이 연구 설계의 핵심이다.
용어의 정의 (Key Concepts)
- 프레이밍(Framing): 사실을 선택·배열·표현하는 방식이 독자의 해석 방향에 영향을 주는 현상이다. 여기서는 미리 정한 세 편집 유형으로 범위를 제한한다.
- 평가적 어휘(Evaluative lexis): 인물이나 행동에 호의적·비호의적 인상을 더하는 단어다. 사실 자체를 바꾸지 않아도 평가 방향을 만들 수 있다.
- 행위자 배치(Agency): 누구를 주어로 내세우고 누구의 행동이나 발언으로 서술하는지에 관한 구성이다. 능동·수동 표현이나 귀속 방식이 여기에 포함된다.
- 두드러짐(Salience): 정보를 앞이나 뒤에 두어 독자가 먼저 주목하는 내용을 바꾸는 방식이다. 여기서는 주로 문장·정보 순서의 편집으로 구현됐다.
- 사실 보존 지표(FactF1): 미리 고정한 사실과 수정문의 어휘·수치가 부합하는 정도를 계산한 지표다. 사람이 기사 전체의 진실성을 판정한 비율이 아니다.
- 주입 편집 복원율(Injected-edit reversal rate, IRR): 알려진 방향성 편집 가운데 수정문에서 되돌린 편집의 비율이다. 완전히 중립적인 기사의 비율이나 종합 편향 점수와 다르다.
연구 방법 (Method)
저자는 영어 뉴스 60개를 각각 180~260단어로 구성하고 기사별로 6~10개의 원자적 사실을 고정했다. 세 편집 유형과 세 강도를 조합해 기사당 아홉 변형, 총 540개를 만들었다. 원래 기사 60개는 편향을 주입하지 않은 대조 자료로 사용했다. 본 평가와 출처가 겹치지 않는 기사 10개는 개발용으로 분리했다.
GLM-5.2를 사용해 통제된 변형을 만들고 어떤 편집을 주입했는지 기록했다. 평가 대상은 DeepSeek-V4-Flash·Qwen-Plus·Kimi-K2.6이었다. 모델은 먼저 기사에서 편향 유형과 방향을 판단하고, 다음 단계에서는 자신의 판단을 참고해 중립적인 기사를 작성했다. 이때 원래 기사나 정답 편집 기록은 제공하지 않았으며 웹 검색 등 외부 도구도 사용할 수 없었다.
복원 평가는 사실 관련 점수와 주입 편집을 되돌린 정도를 나누었다. 같은 기사에서 파생된 변형들이 서로 독립적인 새 기사인 것처럼 취급되지 않도록 출처 기사를 단위로 5,000회 재표집해 불확실성을 계산했다. 저자는 모델 응답 누락도 보고했다. Qwen과 Kimi의 완성 비교 쌍은 각각 522개와 513개로, 모든 모델이 540개 전부에 동일하게 응답한 것은 아니다.
연구 결과 (Results)
DeepSeek·Qwen·Kimi 순으로 FactF1은 0.840·0.834·0.837이었고 IRR은 0.044·0.068·0.054였다. 이 두 줄의 점수를 같은 척도처럼 빼거나 평균 내면 안 된다. 앞의 지표는 사실 목록과 얼마나 부합하는지, 뒤의 지표는 주입한 편집을 얼마나 되돌렸는지에 답한다. 사실과 양립하는 문장이라도 방향성을 띤 표현이나 배치가 남을 수 있다.
편향 유형과 방향을 모두 맞힌 수정 사례에서도 복원율은 높지 않았다. 이 조건에 포함된 주입 편집 1,052개 가운데 75개, 약 7.1%만 되돌렸다. 같은 조건에 들지 않은 편집은 2,832개 중 139개, 약 4.9%가 복원됐다. 인식에 성공한 경우 복원이 다소 더 많았지만, 인식 성공에서 복원 성공으로 곧장 이어지는 관계는 아니었다. 7.1%를 “기사의 7.1%가 중립적이었다”로 표현하면 분모가 바뀐다.
정보 순서를 바꾼 두드러짐 편집은 세 모델에서 IRR이 각각 0.012·0.025·0.038로 낮았다. 낱말을 바꾸는 작업보다 처음 주어진 기사 구조를 다시 짜는 작업이 잘 일어나지 않았다는 해석이 가능하다. 다만 이는 실험에서 정한 편집을 기준으로 한 해석이다. 정보 순서를 유지한 모든 실제 기사가 편향적이라는 뜻은 아니다.
추론을 강화하는 추가 조건에서도 결과가 일관되게 해결되지는 않았다. 모델이 더 긴 분석을 만들었다는 사실은 최종 문장의 편집을 충분히 바꾸었다는 증거가 되지 않았다. 수업에서 AI의 설명 길이나 자신 있는 어조를 수정 품질의 대리 지표로 쓰지 말아야 할 이유를 생각하게 하는 결과다.
논의 및 결론 (Discussion and Conclusion)
이 실험은 사실 확인과 표현의 방향성 검토를 분리할 필요를 보여 준다. 사실 목록이 맞아도 평가어·행위자·정보 순서에서 다른 인상을 줄 수 있다. 따라서 AI가 기사를 중립적으로 바꿨다는 설명을 평가하려면 실제로 무엇을 수정했고 무엇이 남았는지 확인해야 한다.
그렇다고 원래 기사로 완벽히 돌아가는 것만이 실제 뉴스의 중립성을 보장하는 것은 아니다. 이 연구에서 원래 기사는 통제 실험의 기준문이다. 현실에서는 기준문 자체의 관점이나 빠진 사실도 검토 대상이 된다. 연구가 보여 준 것은 알려진 방향성 편집의 복원이 어렵다는 점이며, 보편적인 중립 기사의 정의를 완성한 것은 아니다.
교실 적용안과 해석의 경계
국어·영어 수업에서는 짧은 기사와 AI 수정문을 준비하고, 학생이 먼저 인물·행동·수치·발언 출처를 사실 목록으로 정리하게 할 수 있다. 다음으로 평가어, 행위자, 정보 순서를 서로 다른 표시로 구분한다. AI가 편향이라고 지적한 부분과 실제 수정된 부분을 대조하면 분석의 설득력과 수정의 충실성을 따로 읽게 된다. 이 절차는 본 분석문이 제안한 활동이며 논문에서 학생에게 실시한 처치는 아니다.
예를 들어 같은 사건을 “위원회가 결정을 미뤘다”와 “결정이 미뤄졌다”로 표현했을 때, 학생은 어떤 행동 주체가 드러나거나 사라졌는지 설명할 수 있다. 이 문장 쌍은 개념을 풀기 위해 만든 예시이며 원문 실험 문항이 아니다. 어느 표현이 항상 틀렸다고 판정하기보다 문맥과 근거가 어느 수준의 책임 귀속을 허용하는지 토의하도록 한다.
교사는 AI를 사용했는지보다 학생이 바뀐 구절과 남은 구절을 근거로 설명하는지 볼 수 있다. 학생에게는 모든 평가어를 지우는 것이 사실상 중요한 차이까지 없앨 수 있다는 점도 다룰 필요가 있다. 연수에서는 같은 수정문을 여러 교사가 평가하고 사실 보존·표현 방향·출처 충실성의 판단이 어디에서 갈리는지 논의할 수 있다.
기사가 길거나 학생의 외국어 읽기 부담이 크다면 사실 목록과 문단 하나로 범위를 좁힐 수 있다. 실제 정치 기사를 바로 쓰기 어려운 상황에서는 교사가 만든 짧은 가상 사례로 표현 원리를 연습한 뒤 출처가 있는 기사로 확장하는 방법도 있다. 가상 사례의 연습 결과를 실제 언론의 편향이나 학생의 일반적 역량에 대한 검증으로 확대해서는 안 된다.
한계와 후속 연구 제안 (Limitations and Future Research)
자료는 영어 합성 기사이며 편집 유형도 미리 정한 세 가지다. 실제 뉴스의 누락·인용 선택·이미지·제목·맥락에서 생기는 방향성을 모두 포함하지 않는다. FactF1과 IRR은 자동 규칙에 의존하므로 사람이 보기에 적절한 의역을 놓치거나, 같은 어휘를 남겼지만 의미가 달라진 문장을 충분히 구분하지 못할 수 있다. 응답 누락과 특정 모델 버전 역시 결과의 적용 범위를 제한한다.
후속 검증에서는 실제 출판 기사와 사람의 판단을 포함하고 언어·장르·모델을 넓힐 필요가 있다. 학교에서 연구하려면 AI의 오류 자체를 세는 것과 학생이 그 오류를 이해하고 수정하는 능력을 분리해야 한다. 예를 들어 단순한 “중립화” 요청과 사실·행위자·순서를 따로 대조하게 하는 활동을 비교하고, 학생의 설명을 독립적으로 평가할 수 있다. 이는 후속 설계 제안이며 현재 논문의 효과 추정치는 아니다.
주제어 (Keywords)
- 뉴스 프레이밍 / News framing
- 사실 보존 / Fact preservation
- 편향 인식과 복원 / Bias recognition and reversal
- 미디어 리터러시 / Media literacy
- 통제된 역변환 평가 / Controlled inversion evaluation
3. APA 인용과 근거 위치
Liu, Y. (2026). Recognizing is not reversing: A controlled inversion test of fact-preserving news framing [Preprint]. arXiv. https://arxiv.org/abs/2609.11769
- 원문: https://arxiv.org/abs/2609.11769
- 근거 위치: 자료 구성과 평가 절차에서 60개 기사·540개 변형·세 모델 조건을, 주요 결과에서 FactF1·IRR을 확인할 수 있다.
- 조건부 분석: 유형과 방향을 모두 맞힌 경우의 복원은 75/1,052개 편집이다. 기사 수나 사람의 중립성 판정 비율로 바꾸어 인용하지 않는다.
- 해석 범위: 한계 절의 합성 영어 자료·자동 지표·모델 범위를 함께 인용한다. 본문의 교실 활동과 예문은 이 분석문에서 제안했다.
- 서지 확인: arXiv 등록 저자·제목·최초 제출일과 PDF를 대조하고 Semantic Scholar로 보강했다. 동료심사를 통과한 학술지 논문으로 표기하지 않는다.