1. 연구가 다룬 문제
AI가 만든 문항이 교육과정에 맞고 사실도 정확한지 판단하려면 어떤 절차가 필요한가. HeteroForge는 문항을 생성하는 작업과 비평하고 수정하는 작업을 나누어 이 문제에 접근했다. 이 글은 시스템 설계의 내용과 교사가 프로그램 개발에 옮겨 볼 제안을 구분한다.
2. 원문에서 확인한 구조
생성, 다중 모델 비평, 반려 문항 수정의 3단계이며 문항 형식은 7종이다. 정확성·학년 적합성·사고를 돕는 발판을 각각 필수 조건으로 판단하고 최대 3회 수정 후 사람 검토로 넘긴다.
HeteroForge는 STEM 연습문항을 만든 뒤 서로 다른 모델 세 개가 비평하도록 구성했다. 판정 모델은 정확성, 학년 적합성, 학습 발판을 확인하고 수정 이유를 남긴다. 여러 조건의 평균점수가 높더라도 사실 오류를 통과시키지 않는 설계다. 반려된 문항은 같은 기준으로 다시 검토하며, 반복해 해결하지 못한 문항은 사람이 확인한다.
3. 확인한 범위와 한계
대규모 전문가 판정과의 일치도나 학생 학습 효과는 검증하지 않았다. 여러 모델이 같은 오류를 놓칠 수 있다. 실시간 튜터보다 사전 문항 제작을 위한 구조다. 따라서 이 자료는 검토 절차를 설계하는 근거로 읽어야 한다. 여러 모델을 썼다는 사실을 교실에서의 정확성이나 학습 향상으로 바꾸어 설명할 수 없다.
4. 교육 프로그램으로 옮길 질문
다음은 문항 생성 구조를 프로그램 개발에 확장한 제안이다. 초안을 만드는 단계에서는 교과 목표, 학생의 준비도와 시간 제약을 함께 제공한다. 검토 단계에서는 목표가 활동에 드러나는지, 학생이 남길 증거가 있는지, 준비한 시간 안에 끝낼 수 있는지 각각 확인한다. 검토자는 틀린 위치와 이유를 기록하고 작성자는 그 이유에 답하면서 수정한다.
교과서의 활동과 활동지 문항이 다르면 문장 표현만 다듬어서 해결되지 않는다. 두 자료가 참조할 차시안을 먼저 고쳐야 할 수 있다. 계산식이 틀리면 활동지, 예시 답안, 슬라이드의 같은 수치를 함께 바꾼다. 각 문서를 따로 채점하는 것에 더해 문서 사이의 일치 여부를 살펴야 하는 이유다.
5. 학생 판단을 남기는 검토
예를 들어 가상 대화의 발언 시간으로 참여를 살피는 활동에서는 계산 결과와 판단 기준을 별도로 읽는다. 비율 계산이 맞아도 발언이 짧은 학생의 자료 정리나 기록 활동은 드러나지 않을 수 있다. 교사는 이 한계를 보여 주는 반례를 마련하고 학생이 지표를 유지하거나 고칠 이유를 설명하게 한다. 이는 논문의 실험 결과가 아니라 프로그램 설계자가 만들어 볼 활동 예시다.
AI의 비평을 그대로 정답으로 제시하면 검토의 주체가 학생에게 남지 않는다. 먼저 학생의 선택과 이유를 적게 한 뒤 질문이나 반례를 제공할 수 있다. 수정 뒤에는 무엇을 바꿨는지와 무엇을 여전히 알 수 없는지를 함께 설명하게 한다. 완성한 문서의 수보다 이 설명에서 드러나는 근거를 읽는다.
6. 실행 전후에 남길 기록
수업 전에 교사가 대표 과제를 직접 풀며 자료의 누락과 계산 예외를 찾는다. 수업 중에는 학생이 반복해서 묻는 질문, 예상보다 오래 걸린 활동과 설명이 막힌 지점을 기록한다. 수업 뒤에는 모둠 산출물과 개인 설명을 나란히 읽고 수정할 질문을 정한다. 이 기록은 프로그램 개선의 출발점이며, 비교 조건을 갖추지 않은 한 번의 수업만으로 학습 향상의 원인을 확정할 수는 없다.
7. 인용 맥락과 참고 자료
생성과 검토를 분리하고 오류 사유 및 재검토 기준을 기록하는 에이전트 설계의 근거. 이 논문을 인용할 때는 설계 제안과 검증된 효과를 구분한다.
Scaria, N., Kennedy, S. J. J., & Subramani, D. (2026). HeteroForge: Heterogeneous multi-agent debate for curriculum-aligned STEM exercise generation. Proceedings of Machine Learning Research, 339, 211–216. https://proceedings.mlr.press/v339/scaria26b.html