원문 제목: TraceML: An Empirical Analysis of Human-Agent Planning in Machine Learning Development
한눈에 보기
134개 Kaggle 대회의 인간 작업 궤적 4,465개와, 그중 7개 대회에서 두 에이전트가 만든 207개 궤적을 같은 버전 단위로 비교했다. 전문가는 데이터·검증·모델·앙상블을 오가며 중단한 접근을 다시 열었지만, 에이전트는 좁은 수정 루프에 머물렀다. 인간 계획에서 뽑은 짧은 프롬프트는 일부 행동과 점수를 개선했지만 작업 방식 전체를 바꾸지는 못했다.
연구 질문과 설계
최종 성능만으로는 보이지 않는 인간 전문가와 AI 에이전트의 개발 계획 차이를 묻는다. 134개 Kaggle 대회의 인간 궤적 4,465개를 버전 단위로 정리하고, 7개 대회에서는 두 에이전트의 207개 궤적과 직접 비교했다.
핵심 결과
전문가는 데이터·검증·모델·앙상블 사이를 오가며 가설을 재개했지만 에이전트는 좁은 수정 루프에 고착됐다. 인간 관행을 요약한 짧은 계획 프롬프트는 일부 행동과 점수를 개선했으나 작업 전체의 노력 배분은 바꾸지 못했다.
교육 현장에 주는 의미
코딩·데이터과학 수업에서는 최종 정확도뿐 아니라 가설, 검증 변경, 실패 후 전환, 재시도 이유를 버전 기록으로 평가할 수 있다. AI가 낸 코드의 완성도와 학습자의 계획 능력을 분리하는 평가 설계가 필요하다.
한계와 읽기 주의
에이전트 비교는 7개 대회와 두 스캐폴드에 한정된다. Kaggle식 개발이 모든 소프트웨어·연구 과정을 대표하지 않으며, 계획 프롬프트의 장기 전이도 추가 검증이 필요하다.
인용 맥락 메모
AI 개발 에이전트와 전문가의 차이는 최종 점수보다 계획 전환과 탐색 궤적에서 드러난다는 근거로 쓸 수 있다.
APA 7판
Yan, J., Sun, W., Li, S., Li, W., & Yang, Y. (2026). TraceML: An empirical analysis of human-agent planning in machine learning development [Preprint]. arXiv. https://arxiv.org/abs/2608.26086