논문 요약
다언어 AI의 낮은 점수는 모델의 언어 능력뿐 아니라 평가 문항의 번역에서 생길 수 있다. Kim, Uhlig와 Wuebker는 이 문제를 에이전트가 도구를 써서 해결하는 과제에서 살폈다. 연구진은 GAIA 검증 문항을 한국어 등 다섯 언어로 옮긴 자료를 검토했다. 언어마다 165개의 질문과 정답 쌍을 다뤘다. 자동 검사, AI 판정, 이중언어 검토자와 연구자의 확인을 결합했다. 수정된 자료에서 세 모델의 정답률이 모두 높아졌다. 한국어 조건의 변화는 모델별로 25.5~30.2%포인트였다. 이 결과는 모델을 재학습한 효과가 아니라 평가 자료를 바꿨을 때의 관찰이다. 첨부파일을 현지화하지 않았고 실제 에이전트 실행을 검토 과정에 통합하지 못했다는 한계가 남는다.
연구의 필요성과 목적
학생의 답이 정답과 다를 때 교사는 풀이가 틀렸는지부터 살핀다. 그런데 정답표가 잘못 번역되었거나 문항이 요구하는 형식과 맞지 않는다면 채점 자체가 어긋난다. 이 논문은 비슷한 문제를 AI 평가에서 다룬다. 유창하게 읽힌다는 이유만으로 번역된 검사가 원래 검사와 같다고 볼 수 있는지 묻는다.
연구 대상은 사람의 언어 학습이 아니라 외부 도구를 사용하는 AI의 과제 수행이다. 따라서 논문의 결과를 다문화 학생의 학력 격차나 번역 수업의 효과 수치로 옮겨서는 안 된다. 교사에게 유용한 부분은 평가 자료가 능력 차이를 잘못 드러낼 수 있다는 점과 그 검토 절차다.
연구 문제
연구진이 검토한 질문은 번역이 과제의 기능, 문화적 맥락, 난이도를 유지하는지, 그리고 이들을 수정했을 때 측정된 AI 성능이 어떻게 달라지는지다. 세 영역은 서로 관련되지만 같지 않다. 자연스러운 한국어 문장이라도 필요한 단위가 바뀌면 계산 과제가 달라지고, 현지 정보가 검색되지 않으면 풀이의 부담이 커질 수 있다.
용어의 정의
기능 정합성(functional alignment)은 질문, 필요한 자료, 허용되는 정답이 서로 맞물려 원래 과제를 수행할 수 있는 상태를 뜻한다. 문화적 정합성(cultural alignment)은 지역의 제도나 관습을 고려해 과제를 이해할 수 있게 만드는 작업이다. 난이도 조정(difficulty calibration)은 번역·현지화 뒤에도 비슷한 수준의 풀이를 요구하는지 확인하는 과정이다.
벤치마크는 AI를 비교하기 위한 시험 자료다. 이 논문의 pass@1은 한 번 시도했을 때 정답을 맞힌 비율이다. 정확한 문자열을 요구하는 문항에서는 의미가 비슷해도 답안 형식 때문에 오답으로 처리될 수 있다.
연구 방법
연구진은 아랍어, 독일어, 힌디어, 한국어, 브라질 포르투갈어를 대상으로 번역본을 검토했다. 먼저 규칙으로 언어, 답안 노출, 숫자와 고정 요소의 보존을 검사했다. 이어 AI가 여러 관점을 따로 판정하고, 사람 검토자가 기능과 맥락을 확인했다. 다른 언어 전문가와 연구자가 다시 검토하는 절차도 뒀다.
최종 시험은 같은 에이전트 환경에서 번역 초안과 검토 후 자료를 비교했다. 평가한 모델은 GPT-5.4, Gemini 3.1 Pro, Claude Opus 4.6이다. 이 설계는 문항 변화에 따라 결과가 달라지는지를 보여 주지만 모든 수정이 난이도를 완벽하게 보존했음을 독립적으로 증명하지는 않는다.
연구 결과
원문 표 2의 한국어 정답률을 그대로 대조하면 다음과 같다.
- GPT-5.4: 33.3%에서 62.4%로, 29.1%포인트 차이.
- Gemini 3.1 Pro: 34.6%에서 64.8%로, 30.2%포인트 차이.
- Claude Opus 4.6: 33.3%에서 58.8%로, 25.5%포인트 차이.
위 차이는 표의 반올림된 두 비율을 뺀 값이다. 상대 증가율과 혼동하지 않아야 한다. 예를 들어 첫 모델의 변화는 ‘29.1% 더 뛰어난 모델이 됐다’는 뜻이 아니다. 같은 모델을 다른 상태의 평가 자료로 측정한 결과다.
모든 언어와 모델의 차이가 사라진 것은 아니다. 이 때문에 성능 격차 전부가 번역 탓이라고 결론 내릴 수도 없다. 자료를 고친 뒤 남은 격차는 도구와 검색 환경, 모델의 능력, 여전히 남은 검사 조건을 더 살펴야 할 출발점이다.
논의와 결론
이 연구의 기여는 다언어 평가를 문장 번역의 문제에서 측정의 문제로 넓힌 데 있다. 자연스러운 문장이 곧 타당한 시험이라는 보장은 없다. 모델 순위를 소개할 때도 시험 언어와 문항 제작 과정을 함께 보아야 한다.
한계도 평가 설계에 직접 연결된다. 이미지·음성·PDF를 현지화하지 않아 모든 입력이 같은 언어 환경에 놓이지 않았다. 검토자가 실제 에이전트 실행을 시험하지 않았으므로 검색 실패나 외부 도구 제약을 모두 발견했다고 할 수 없다. 사전공개 논문이며 학교 수업에 대한 실험은 아니다.
교실 적용 제안
다음은 논문의 실험 결과가 아니라 교사용으로 옮긴 검토 활동이다. 번역 과제를 배포하기 전에 교사 두 사람이 문항과 정답을 따로 읽고, 요구하는 행동을 한 문장으로 적어 비교한다. 한 사람은 자료 찾기로, 다른 사람은 수치 추정으로 이해했다면 문항을 다시 살핀다. 이어 숫자·단위·날짜·고유명사와 답안 형식을 대조한다.
다언어 학습자가 참여한다면 이해하기 어려웠던 표현을 말할 기회를 주되 학생에게 번역 검수 책임을 넘기지는 않는다. 내용 이해를 확인하는 과제와 특정 언어 표현을 평가하는 과제를 구분해야 한다. 전자에서는 동등한 의미의 표현을 인정할 수 있지만, 후자에서는 표현의 정확성이 평가 목표일 수 있기 때문이다.
검토 기록에는 원문, 번역문, 정답, 수정 이유를 함께 남기는 것이 좋다. 예를 들어 단위 변환으로 계산 단계가 추가되었다면 단순한 문체 수정이 아니라 난이도 변경으로 기록한다. 수정 후 학생 성과가 좋아졌더라도 바로 학습 효과라고 부르지 않고 문항 이해의 변화인지 따로 확인한다.
후속 연구 제안
같은 교과 과제를 여러 언어로 제공할 때 내용 지식과 언어 이해가 점수에 각각 얼마나 영향을 주는지 연구할 수 있다. 이때 번역 검토 전후 자료를 실제 학생에게 곧바로 성적 산출용으로 사용하기보다 소규모 인지 면담으로 문항 이해 과정을 먼저 확인하는 편이 적절하다. 첨부 그림과 영상의 정보까지 맞춘 조건과 그렇지 않은 조건을 구분하면 텍스트 번역만으로 해결되지 않는 문제도 드러날 수 있다.
주제어
다언어 평가(multilingual evaluation), 검사 타당도(test validity), 기능 정합성(functional alignment), 문화적 정합성(cultural alignment), 에이전트 벤치마크(agent benchmark).
APA 인용과 원문
Kim, Y., Uhlig, K., & Wuebker, J. (2026). GAIA-v2-LILT: Multilingual adaptation of agent benchmark beyond translation [Preprint]. arXiv. https://doi.org/10.48550/arXiv.2604.24929
2026년 9월 19일 기준 arXiv v1의 방법, 표 2와 한계 절을 확인했다. 저자·연도는 저장소 및 Semantic Scholar 서지와 대조했다. 본 분석의 교실 적용과 후속 연구는 작성자의 제안이다.