논문 상세 분석 — LLM 평가자는 언어에 따라 점수를 다르게 준다: 23개 언어 실험이 드러낸 구조적 편향

📄 논문 상세 분석 — LLM 평가자는 언어에 따라 점수를 다르게 준다: 23개 언어 실험이 드러낸 구조적 편향

자동 생성: 2026-07-19 · 추천 논문(AI-07) · 출처 신뢰도: 높음(arXiv 프리프린트 v1, 동료심사 전 · 케임브리지대 Language Technology Lab)
원문(바로 열기): https://arxiv.org/abs/2607.14480

---

1. 📄 논문 요약 (Abstract)

AI가 AI의 답변을 채점하는 'LLM 평가자'(학습된 보상 모델과 프롬프트 기반 LLM-as-a-Judge)는 보통 두 답변 중 더 나은 쪽을 고르는 '쌍별 정확도(pairwise accuracy)'로 검증되며, 이 수치가 높으면 언어와 무관하게 공정하게 채점한다고 가정되어 왔다. 케임브리지대 연구진은 의미가 완전히 동일하도록 전문 번역·검증된 지시–응답 쌍을 23개 언어로 준비해 이 가정을 시험했고, 평가자들이 같은 내용에 대해 언어별로 유의하게 다른 점수를 준다는 사실을 확인했다. 이 편향은 서로 다른 구조·학습 방식의 오픈웨이트 평가자 8종 모두에서 통계적으로 유의하게(분산분석 p<0.001) 일관되게 나타났고, GPT-4.1-mini 등 프런티어 심판 모델에서도 지속되었다. 특히 언어의 자원 수준과 강하게 상관되어(보상 모델 기준 Spearman ρ = −0.81, Pearson r = −0.58), 힌디어·히브리어·아랍어 같은 저자원 언어가 더 후하게, 영어·프랑스어·이탈리아어·스페인어는 더 박하게 채점되었으며, 점수 차이는 5점 척도에서 약 0.4~0.5점에 달했다. 문제는 이 편향이 쌍별 정확도에는 전혀 보이지 않는다는 점이다: 평가자들은 90% 이상의 쌍별 정확도를 달성하면서도, 하나의 전역 임계값(threshold)을 적용하면 언어 간 통과율(acceptance rate) 격차가 최대 43.0%까지 벌어졌다. 예컨대 Skywork-LLaMA-8B는 영어에서 쌍별 정확도 93%·통과율 23%였지만 우크라이나어에서는 정확도 87%·통과율 67%로, 유해 콘텐츠가 저자원 언어에서는 안전 필터를 더 쉽게 통과할 수 있음을 뜻한다. 언어별 임계값으로 보정하면 격차가 평균 60.9% 줄지만, 이는 언어 식별을 전제로 하는데 코드스위칭(언어 혼용) 프롬프트는 44%가 영어로 오분류되어 통과율이 보정된 50%에서 75%로 다시 치솟았다. 원인 분석에서는 모델이 확신이 낮을수록(음의 로그우도 및 토큰 무관 불확실성 지표 모두에서) 점수를 후하게 주는 경향이 확인되었으나, 불확실성을 통제한 뒤에도 언어 정체성 자체가 유의한 예측 변수로 남아, 이 편향은 콘텐츠 난이도만으로 설명되지 않는 구조적·언어 수준의 정렬 실패(misalignment)라고 결론지었다.

2. 📊 논문 구조별 주요 정보 정리

연구의 필요성 및 목적

• LLM 평가자(보상 모델, LLM-as-a-Judge)는 RLHF 학습, 벤치마크 채점, 안전 필터 등 AI 개발 전반의 '심판' 역할을 맡고 있으며, 통상 쌍별 정확도로만 검증된다.
• 다국어 환경에서는 "쌍별 정확도가 높으면 언어 중립적 채점이 보장된다"는 암묵적 전제가 깔려 있는데, 이 전제가 실제로 성립하는지 검증한 연구는 부족했다.
• 목적: 의미가 동일한 콘텐츠에 대해 평가자가 언어별로 절대 점수를 다르게 주는지(편향 존재), 왜 저자원 언어가 오히려 후한 점수를 받는지(기제), 그리고 이 편향이 표준 검증 지표에 왜 안 잡히는지(맹점)를 규명.

연구 문제

• LLM 평가자는 의미적으로 동일한 콘텐츠에 대해 언어에 따라 체계적으로 다른 점수를 부여하는가?
• 성능 저하가 문서화된 저자원 언어가 왜 낮은 점수가 아니라 오히려 높은 점수를 받는가?
• 언어 의존적 점수 편향은 왜 표준 쌍별 정확도 지표에서는 보이지 않는가?

용어의 정의 (한글 설명 + 영어 병기)

• LLM 평가자(LLM evaluator): AI의 출력물을 채점·선별하는 모델. 선호 데이터로 학습된 보상 모델(reward model)과 프롬프트로 심판 역할을 지시받는 LLM-as-a-Judge를 포괄.
• 쌍별 정확도(pairwise accuracy): 두 응답 중 사람이 선호한 쪽을 평가자가 더 높게 순위 매겼는지의 비율. 상대적 순서만 보고 절대 점수 크기는 보지 못함.
• 점별 점수(pointwise score): 단일 응답에 부여되는 절대 점수(예: 1~5점 리커트, 보상 모델의 스칼라 값).
• 통과율(acceptance rate): 고정 결정 임계값(threshold)을 넘어 '합격' 처리되는 응답의 비율. 안전 필터·품질 게이트의 실질 동작을 좌우.
• 언어 의존적 점수 편향(language-dependent scoring bias): 내용이 같아도 평가 언어만 바뀌면 절대 점수가 체계적으로 이동하는 현상.
• 코드스위칭(code-switching): 한 프롬프트 안에 여러 언어를 섞어 쓰는 것. 언어 식별(LID) 기반 방어를 무력화하는 공격 경로가 됨.
• 음의 로그우도(NLL, negative log-likelihood): 응답 토큰에 대한 모델의 '놀람' 총합. 본 연구에서 모델 불확실성의 대리 지표로 사용.
• z-정규화(z-normalization): 모델·데이터셋 조합별로 점수를 표준화해, 모델 간 원점수 차이가 아닌 언어 간 차이만 남기는 처리.

연구 방법

• 평가자 모델(오픈웨이트 8종)

| 유형 | 모델 |

|------|------|

| LLM-as-a-Judge (4) | Aya Expanse 32B · Qwen 2.5 72B · LLaMA 3.1 70B Instruct · M-Prometheus 14B |

| 보상 모델 (4) | URM-LLaMA-3.1-8B · BTRM-Qwen-2-7B · Skywork-Reward-Gemma-2-27B · Skywork-Reward-LLaMA-3.1-8B-v0.2 |

| 프런티어 심판 (추가 2) | GPT-4.1-mini · Qwen3-32B (thinking) |

• 언어 설정: 23개 언어(아랍어·체코어·독일어·그리스어·영어·스페인어·페르시아어·프랑스어·히브리어·힌디어·인도네시아어·이탈리아어·일본어·한국어·네덜란드어·폴란드어·포르투갈어·루마니아어·러시아어·터키어·우크라이나어·베트남어·중국어). 라틴·키릴·아랍·히브리·데바나가리·한자·한글 등 다양한 문자 체계와 어족, 고·중·저자원 수준을 포괄.
• 데이터: RewardBench·M-RewardBench 기반, 전문 번역가가 번역·검증한 의미 동일 지시–응답 쌍. Chat / Chat-Hard / Safety / Reasoning 4개 범주(AlpacaEval, MT-Bench, LLMBar, XSTest, Do-Not-Answer 등 20여 개 하위셋 집계).
• 채점 프로토콜: 프롬프트 심판은 1~5점 리커트, 보상 모델은 연속 스칼라 점수. temperature 0(결정론적). 보상 모델 점수는 모델–데이터셋별 z-정규화. 언어 효과는 일원 분산분석(one-way ANOVA)으로 검정.

연구 결과

• 편향의 존재와 크기: 8종 평가자 전부에서 언어 효과가 유의(p<0.001, 전 사례). 동일 내용의 점수 이동 폭은 5점 척도 기준 약 0.4~0.5점, z-정규화된 보상 점수로는 ±1 스케일에서 약 ±0.5 [확인 필요: 정확한 표기].
• 편향의 방향: 힌디어·히브리어·아랍어가 거의 모든 평가자에서 상위 사분위, 이탈리아어·프랑스어·스페인어·영어가 하위 사분위. 자원 수준과의 상관은 보상 모델 기준 Spearman ρ = −0.81, Pearson r = −0.58(저자원일수록 후한 점수). LLM-as-a-Judge에서도 같은 방향의 연관 관찰(정확 수치 [확인 필요]).
• 프런티어 모델도 예외 아님: GPT-4.1-mini에서 ρ = −0.58, Qwen3-32B에서 ρ = −0.68 ~ −0.73의 자원-점수 상관이 관찰됨.
• 쌍별 정확도의 맹점: 평가자들이 90% 이상의 쌍별 정확도를 내면서도, 전역 임계값 하에서 언어 간 통과율 격차(최대−최소)가 43.0%에 도달. 정확도 95% 이상 구간에서도 격차가 최대 34.0%.
• 안전 필터 실사례: Skywork-LLaMA-8B — 영어: 정확도 93%·통과율 23% vs 우크라이나어: 정확도 87%·통과율 67%. 동일 유해성 질문의 부적절 응답이 영어(−4.51)는 걸러지고 우크라이나어(+3.57)는 통과한 사례 제시 → "저자원 언어의 유해 콘텐츠가 안전 필터를 더 쉽게 통과".
• 보정의 한계: 언어별 임계값은 통과율 격차를 평균 60.9% 감소시키지만, 중심화 점수 분산의 18.8%가 언어×항목 상호작용에 남아 완전한 해결이 아님. 또한 언어 식별이 전제인데, 코드스위칭 프롬프트의 44%가 영어로 오분류되어 통과율이 보정된 50%에서 75%로 상승(공격 가능).
• 기제 분석: 모델은 확신이 낮을수록(NLL·토큰 무관 불확실성 지표 공통) 점수를 후하게 주는 경향. 그러나 불확실성 통제 후에도 언어 정체성이 유의한 예측 변수로 남음 → 난이도만으로 환원되지 않는 구조적 편향.
• 모델 간 일관성: 같은 계열(URM-LLaMA↔Skywork-LLaMA 상관 0.59)에서는 중간 수준의 선형 일치, 계열 간에는 약함. 다만 언어의 순위(서열) 일치는 강함.

논의 및 결론

• 평가자는 언어에 따라 '눈금이 이동한 자'로 채점한다 — 쌍별 정확도는 순서만 보므로 이 절대 눈금 이동에 구조적으로 눈이 멀어 있으며, 그 결과 전역 임계값 기반 배포(안전 필터·품질 게이트·RLHF 보상)에서 언어 간 불평등이 은폐된다.
• 저자들은 언어 간 비교 가능성을 보정 없이 가정하지 말 것을 경고하고, 언어별 오프셋 보정을 즉각적 완화책으로 제시하되 "더 원리적인 해법은 사후 보정이 아니라 학습에 있다"고 결론.
• 한계: 23개 언어는 전 세계 언어 다양성의 일부에 불과. 불확실성만으로 언어 효과가 완전히 설명되지 않음. 점수 분산 자체도 언어별로 달라 단순 오프셋 보정으로 부족. 분산의 주 설명 변수가 모델에 따라 언어 정체성 또는 NLL로 갈림.

후속 연구 제안

• 다국어 데이터를 이용한 보상 모델의 언어 인지적(calibrated) 학습, RLHF 과정에서 언어 조건부 점수 정규화, 보상 모델 학습 시 언어 균형 선호 데이터 구성.
• 쌍별 정확도와 함께 언어 간 점수 일관성을 명시적으로 검사하는 평가 프로토콜 개발.
• 불확실성 너머의 구조적·언어 수준 정렬 실패 기제에 대한 심층 규명.

주제어 (한글 + 영문)

• 다국어 평가 편향 (multilingual evaluation bias)
• LLM 심판 (LLM-as-a-Judge)
• 보상 모델 보정 (reward model calibration)
• 교차언어 공정성 (cross-lingual fairness)
• 언어 자원 격차 (language resource disparity)
• 안전 필터 (safety filter)
• 쌍별 정확도의 한계 (limitations of pairwise accuracy)
• 모델 불확실성 (model uncertainty)
• 코드스위칭 공격 (code-switching attack)
• 인간 피드백 강화학습 (RLHF)

3. 📚 APA 인용 형식

Zhou, E., Resck, L., Hui, Z., & Korhonen, A. (2026). *LLM evaluators are biased across languages* (arXiv:2607.14480). arXiv. https://doi.org/10.48550/arXiv.2607.14480