AI 성능을 바꾸는 실행 설계

AI의 과제 성능을 모델 이름만으로 설명하기는 어렵다. 오늘 살펴본 실행 설계 연구들은 같은 모델이라도 다음 작업에 연산을 배분하는 방식, 긴 자료에서 근거를 찾는 방식, 계획을 실제 행동에 연결하는 방식에 따라 결과가 달라졌다고 보고한다. 다만 명목상 호출 허용량과 실제 비용은 다르며, 복잡한 실행 구조가 모든 과제에 유리하지도 않았다.

성능 수치가 무엇을 측정했는지도 함께 읽어야 한다. 합성 수학에서는 정답을 맞히고도 풀이의 수량 관계를 틀린 사례가 있었고, 대화형 AI의 평가 점수는 모의 사용자가 정보를 제공하는 방식에 영향을 받았다. STEM 메타분석에서는 출판편향을 보정한 평균 효과가 크게 줄었다. 세 연구는 서로 다른 대상을 다루지만 결과 숫자와 그 숫자를 만든 평가 조건을 나누어 살펴볼 이유를 제공한다.

교육 현장의 근거는 별도로 이어진다. 개별화교육 목표 작성에서는 평가자와 수행 순서에 따라 AI 지원 효과의 해석이 달라졌다. 교사 연구는 활용 의향과 실제 수업의 차이를, 직업교육 연구는 실제 일터의 근거 부족을 드러냈다. 음성 인식 연구 역시 평균 오류율로 가려지는 집단별 차이를 지적하되 자료에 따라 다른 결과를 보고했다.

이에 오늘 자료는 하나의 결론으로 묶지 않고 실행 설계, 평가 해석, 교사·학습자 지원의 세 흐름으로 읽는다. 학교에서 적용 가능성을 살필 때는 같은 과제에서의 품질과 비용, 도움을 받은 수행과 남은 학습, 전체 평균과 어려움을 겪는 이용자의 경험을 각각 확인할 수 있다. 이는 자료를 종합한 실천 제안이며, 오늘의 기술 벤치마크가 한국 학교의 효과를 직접 입증한 것은 아니다.