기준일: 2026-09-12 · Mukhopadhyay 외 4명 · PrivacyBench · arXiv:2512.24848v1, 2025년 12월 31일 · 합성 자료 기반 사전공개 논문
한글 초록
개인화 AI는 사용자의 문서를 참고해 답하지만, 그 문서에서 찾은 정보를 누구에게 공개해도 되는지 판단해야 한다. PrivacyBench는 가상의 사회적 관계와 비밀이 담긴 자료로 대화 중 개인정보 보호를 평가한다. 연구진은 4개 공동체의 가상 인물 48명과 문서 31,972개를 구성했다. 문서를 검색해 답하는 RAG 방식에서 5개 모델을 대상으로 직접·간접 질문과 최대 10회의 대화를 시험했다. 개인정보 보호 지시를 추가했을 때 비밀 유출이 줄어든 모델도 있었지만 모든 모델이 개선된 것은 아니었다. 표 2의 직접 질문 조건에서 Llama-4-Maverick의 유출률은 18.72%에서 0.46%로 낮아진 반면 Kimi-K2는 14.58%에서 18.13%로 높아졌다. 원문에 적힌 일부 평균은 표시된 모델별 값의 단순평균과 맞지 않아 전체 유출 감소율을 확정된 효과로 해석하기 어렵다. 합성 자료와 자동 판정에 기초한 결과이므로 실제 학교의 유출 위험이나 특정 제품의 현재 안전성을 추정하는 데도 한계가 있다. 이 연구는 검색 권한과 답변 공개를 따로 평가해야 할 이유를 보여 주는 탐색적 근거로 읽을 수 있다.
연구의 필요성과 목적
개인화 AI는 이메일, 대화 기록, 일정처럼 사람의 맥락을 담은 자료를 이용할 수 있다. 이런 정보는 질문과 관련성이 높아도 공개가 허용되지 않을 수 있다. 문서에 접근한 계정과 실제 질문자, 비밀을 공유할 수 있는 사람의 범위가 항상 일치하지 않기 때문이다.
이 연구는 비밀이라는 단어를 알아보는 능력과 대화에서 그 비밀을 지키는 행동을 구분한다. 민감한 내용을 정확히 식별해도, 답을 만드는 과정에서 그 내용을 요청자에게 전달할 수 있다. 단일 질문에 대한 정답률만으로 이러한 상황을 평가하기는 어렵다는 것이 문제의식이다.
PrivacyBench는 실제 개인의 비밀을 공개하지 않고도 반복 가능한 시험을 만드는 것을 목표로 한다. 연구진이 가상 관계와 문서를 생성한 이유는 민감한 실자료를 공개 벤치마크로 배포할 때 생기는 문제를 줄이기 위해서다. 그 선택은 재현성을 높이는 동시에 실제 생활의 복잡성을 충분히 담았는지 확인해야 할 과제를 남긴다.
연구문제
- 개인화 AI가 여러 차례의 대화에서도 공개하면 안 되는 비밀을 지키는가?
- 비밀을 직접 묻는 조건과 주변 맥락을 묻는 조건에서 결과가 달라지는가?
- 개인정보 보호를 강조하는 지시를 추가하면 유출과 과도한 비공개가 어떻게 달라지는가?
- 답변의 유출이 줄어들어도 검색 단계에는 부적절한 정보가 계속 들어오는가?
주요 용어
검색 증강 생성(retrieval-augmented generation, RAG)은 질문에 관련된 문서를 먼저 찾고 그 문서를 바탕으로 답하는 방식이다. 관련성에 따라 문서를 잘 찾는 것과 요청자의 권한에 맞게 문서를 찾는 것은 별도의 조건이다.
비밀(secret)은 이 벤치마크에서 특정 사람이나 집단만 알도록 설정한 정보다. 민감한 단어가 있는지 여부만으로 결정하지 않고 가상 인물 사이의 공유 관계와 맥락을 함께 이용한다.
유출률(leakage rate, LR)은 허가되지 않은 상대에게 비밀의 핵심 내용이 명시적으로 공개된 대화의 비율이다. 실제 개인정보 사고 신고율이나 특정 서비스 전체 이용자의 피해율이 아니다.
과도한 비공개(over-secrecy rate, OSR)는 정보를 받을 권한이 있는 상황에서도 AI가 제공을 거부하는 문제를 측정한다. 공개를 모두 막는 방식은 유출을 줄여도 필요한 도움을 방해할 수 있어 별도 지표가 필요하다.
부적절한 검색률(inappropriate retrieval rate, IRR)은 답을 만들기 위해 가져온 문서에 공개하면 안 되는 정보가 들어오는 문제를 측정한다. 원문은 검색을 대화 차례 단위로, 유출을 대화 단위로 집계한다. 서로 다른 분모의 비율을 직접 빼서 방어 성공률을 계산하면 안 된다.
연구방법
합성 자료와 사회적 관계
연구진은 4개 공동체에 속한 가상 인물 48명을 만들고 이메일·메시지·구매 기록 등 31,972개 문서를 생성했다. 공동체에는 각각 12명, 8명, 14명, 14명이 있다. 특정 인물만 아는 비밀, 집단에서 공유하는 비밀, AI와 공유한 비밀을 설정해 공개가 허용되는 범위를 구분했다.
문서를 생성하는 모델과 시험 대상 모델의 역할은 다르다. 자료는 Gemini 2.5 Flash Lite 등을 사용하는 생성 과정으로 구성했고, 시험 대상은 GPT-5-Nano, Gemini-2.5-Flash, Kimi-K2, Llama-4-Maverick, Qwen3-30B의 5개 모델이다. 이 명단은 논문의 실험 설정이며 제품의 현재 성능 순위를 의미하지 않는다.
대화와 검색 조건
문서를 벡터 검색으로 불러오는 RAG 환경을 구성하고, 별도의 대화 생성 모델이 직접 질문과 간접 질문을 이어 갔다. 한 대화는 최대 10회까지 진행하거나 비밀이 유출되면 종료했다. 평가하려는 것은 비밀 공개 여부와 그때의 검색·응답 관계다.
기본 지시와 개인정보 보호를 강조한 지시를 비교했다. 지시가 바뀌었을 때 출력의 비밀 보호가 나아지는지, 필요한 정보까지 감추는지, 검색 결과 자체는 달라지는지를 각각 확인했다. 실제 학교의 계정 체계나 문서별 접근 권한을 완성한 시스템과 비교한 실험은 아니다.
판정과 사람의 확인
세 언어모델 평가기의 다수결로 유출 여부를 판정했다. 명시적인 핵심 비밀 공개를 유출로 보고 부분적 암시만으로 비밀을 추론할 수 있는 경우는 주 평가에 포함하지 않았다. 따라서 이 유출 지표는 가능한 모든 개인정보 노출 형태를 포괄하지 않는다.
부록에서는 100개 대화에 대한 사람 확인에서 자동 판정과 93개가 일치했다고 보고한다. 설명에는 평가자가 한 명으로 적혀 있으므로 이를 여러 사람 사이의 일치도나 평가 도구의 완전한 정확도로 부를 수 없다. 나머지 사례처럼 일부 노출과 완전한 노출의 경계에서 판정이 달라질 수 있다.
연구결과
같은 보호 지시도 모델마다 다르게 작동했다
표 2의 직접 질문 조건에서 Llama-4-Maverick의 유출률은 기본 지시 18.72%, 보호 지시 0.46%였다. 같은 조건의 Kimi-K2는 14.58%와 18.13%였다. 첫 모델의 변화만 보면 보호 지시가 강한 방어책처럼 보이지만, 두 번째 모델에서는 개선 방향조차 같지 않았다.
이 결과는 설정된 합성 대화의 모델별 관측값이다. 학교 문서를 넣었을 때 같은 폭으로 변한다고 예측할 근거는 없다. 프롬프트의 표현, 검색 자료, 대화 길이, 비밀 판정 방식과 모델 버전에 따라 결과가 달라질 수 있다.
원문 평균값을 그대로 효과 크기로 쓰기 어려운 이유
표 2에 표시된 직접 질문 조건의 기본 유출률 5개를 단순평균하면 약 17.06%다. 그런데 원문 평균 행은 16.31%로 적혀 있다. 보호 지시 조건의 개별 값은 단순평균 약 7.38%이고 평균 행은 5.43%다. 이는 본 리포트에서 표의 표시값을 다시 계산해 확인한 결과이며, 논문이 별도로 보고한 새 실험 결과가 아니다.
원문 표에서는 이 차이를 설명하는 별도 가중 집계 근거가 명확하지 않다. 표시된 평균 행들을 결합한 전체 평균도 그대로 신뢰해 효과 크기를 단정하기 어렵다. 따라서 본 분석은 어느 수치가 최종 정답인지 임의로 교정하지 않고, 집계 방식이 불명확하다는 점을 남긴다.
이 문제 때문에 전체 유출이 특정 비율에서 다른 비율로 줄었다는 문장을 핵심 결론으로 사용하지 않았다. 상세 분석에서 이 논문을 다루는 이유는 집계 효과를 홍보하기 위해서가 아니라, 개인정보 평가의 구조와 보고된 결과를 읽을 때 필요한 구분을 설명하기 위해서다. 원자료와 집계 코드로 평균의 분모·가중치를 확인하면 해소할 수 있는 쟁점이다.
검색과 출력은 다른 방어 지점이다
원문 표에는 보호 지시를 추가한 뒤에도 여러 모델에서 부적절한 문서 검색이 남아 있다. 예를 들어 직접 질문 조건의 Llama-4-Maverick은 출력 유출률이 낮아졌어도 부적절한 검색률이 60.02%로 보고됐다. 이는 대화 차례 단위의 검색 지표이므로 앞의 대화 단위 유출률과 직접 비교하는 값은 아니다.
이 관측은 답변 단계에서 공개를 막는 것과 검색 단계에서 문서 접근을 제한하는 일이 다를 수 있음을 보여 준다. 연구가 실제 접근 제어 체계의 효과를 실험한 것은 아니므로, 특정 권한 관리 방식이 이 유출을 얼마나 막을지는 추가 시험이 필요하다.
논의와 결론
PrivacyBench의 유용한 점은 개인화 AI의 안전을 하나의 숫자로만 보지 않게 한다는 것이다. 문서가 검색됐는지, 요청자에게 알려도 되는지, AI가 공개를 막았는지, 정당한 요청까지 거절했는지는 서로 다른 질문이다. 각 단계의 기록을 남기면 어디에서 문제가 생겼는지 더 구체적으로 설명할 수 있다.
연구의 한계는 자료, 판정, 구현, 보고에 걸쳐 있다. 가상 공동체 네 곳은 실제 학교의 관계와 권한을 충분히 대표하지 않는다. 자동 평가기는 판정 오류를 낼 수 있고, 100개 대화의 단일 평가자 확인만으로 모든 결과를 검증했다고 볼 수 없다. 부분적 암시를 주 지표에서 제외한 점도 노출 범위를 좁힌다.
실험은 표준 RAG 구조에 관한 것으로, 복잡한 기억 기능이나 문서별 권한이 결합된 실제 시스템 전체를 평가하지 않았다. 여기에 표의 평균 집계 불명확성이 더해지므로 정밀한 전체 효과 크기보다 모델별 결과와 평가 구조에 무게를 두는 것이 적절하다. 논문 제목의 벤치마크라는 말 자체가 현장 안전 인증을 뜻하지도 않는다.
학교의 정보 관리에 적용하는 방법
다음은 연구 결과에서 도출한 학교 적용 제안이며 실험으로 효과를 확인한 처방은 아니다. 학교 문서 검색 도구를 검토할 때는 공개 자료와 제한 자료를 구분하고, 교사·학생·보호자 계정에 어떤 문서가 검색되는지 확인할 수 있다. 실제 학생의 민감한 기록을 시험에 쓰기보다 허구의 이름과 내용을 가진 시험 문서를 사용하는 편이 적절하다.
정보 담당자는 검색 결과에 제한 문서가 들어왔는지와 최종 답변에 제한 정보가 보였는지를 따로 기록할 수 있다. 교사는 정당한 수업 자료를 요청했을 때 필요한 내용까지 거부하는지도 확인할 수 있다. 접근 제한과 사용 편의성의 문제를 한 지표로 합치지 않아야 원인을 찾기 쉽다.
학교 관리자는 계정 변경·퇴직·학급 이동 뒤 권한이 갱신되는지, 문서 접근 기록을 누가 확인하는지 검토할 수 있다. 이때 개인정보를 지키라는 지시문을 넣었다는 사실만으로 점검을 끝내서는 안 된다. 지시문, 검색 권한, 출력 확인 각각이 맡는 역할을 시험 사례로 확인해야 한다.
학생을 대상으로 이 결과를 설명할 때는 실제 비밀을 AI에 입력해 보는 활동으로 바꾸지 않는다. 개인정보가 없는 가상 상황을 통해 정보의 소유자, 공유할 상대, 목적을 구분하는 학습으로 연결할 수 있다. 이 논문은 학생 대상 수업의 효과를 검증하지 않았으므로 그런 수업의 학습 성과도 별도로 살펴야 한다.
향후 연구 방향
- 원자료와 집계 코드로 표 2의 평균 분모·가중치를 확인하고 보고값의 차이를 해소할 필요가 있다.
- 더 많은 사람 평가자와 명확한 판정 기준을 사용해 부분적 암시·간접 추론까지 평가할 수 있다.
- 합성 자료의 사회적 관계와 권한 설정을 실제 기관의 복잡성과 비교해야 한다.
- 검색 단계의 접근 제어, 출력 단계의 보호, 장기 기억을 구분한 비교 시험이 필요하다.
- 한국어와 학교 문서 맥락에서도 가상 자료 기반 시험을 설계하고 결과의 전이 가능성을 검토해야 한다.
핵심 키워드
개인화 AI(personalized AI), 검색 증강 생성(retrieval-augmented generation), 대화형 평가(conversational evaluation), 개인정보 보호(privacy protection), 비밀 유출(secret leakage), 과도한 비공개(over-secrecy), 합성 자료(synthetic data).
APA 인용과 근거 위치
Mukhopadhyay, S., Reddy, S., Muthukumar, S., An, J., & Kumaraguru, P. (2025). PrivacyBench: A conversational benchmark for evaluating privacy in personalized AI [Preprint]. arXiv. https://doi.org/10.48550/arXiv.2512.24848
원문 3~6쪽은 합성 자료·대화 평가·지표, 7~8쪽은 결과와 표 2, 8~9쪽은 한계와 결론, 10~11쪽 부록은 자료 및 사람 판정 검토를 설명한다. 표 2는 PDF 8쪽의 실제 이미지와 텍스트를 대조했다. 개별 수치의 재계산은 본 리포트의 점검이며 저자의 공식 정정으로 취급하지 않는다. 인용할 수 있는 주장은 검색과 출력의 개인정보 보호를 나눠 평가할 필요성이고, 실제 학교의 피해율이나 보편적인 방어 효과는 이 논문이 확정하지 않는다.