- 원제: Gender bias in test item formats: Evidence from PISA 2009, 2012, and 2015 math and reading tests
- 저자: Benjamin R. Shear
- 출판: Journal of Educational Measurement, 60(4) (2023), 676–696
- APA: Shear, B. R. (2023). Gender bias in test item formats: Evidence from PISA 2009, 2012, and 2015 math and reading tests. Journal of Educational Measurement, 60(4), 676–696. https://doi.org/10.1111/jedm.12372
- DOI: 10.1111/jedm.12372
핵심 요약
PISA 2009, 2012, 2015 수학·읽기 시험을 문항 단위로 분석한 결과, 남학생은 선다형에서, 여학생은 서술형에서 상대적으로 정답률이 높았다. 이 경향은 미국 대표 표본과 34개 국가·지역에서 일관됐다. 국가 평균 형식 효과는 수학 0.07 표준편차, 읽기 0.16 표준편차였다. 문항 하나의 차이는 작지만 한 방향으로 쌓이기 때문에, 집단 간 점수 비교의 타당성에 영향을 준다.
연구 질문과 맥락
대규모 표준화 시험은 학생 전체와 하위집단의 성취를 비교하는 데 쓰인다. 이런 비교는 시험이 모든 집단에 같은 척도로 작동한다고 가정한다. 그러나 앞선 연구들은 문항 형식에 따라 성별 점수 차이가 달라질 수 있음을 시사했다. 이 연구는 그 형식 효과가 여러 해와 여러 나라에서 일관되게 나타나는지, 크기는 어느 정도인지 물었다.
연구 설계와 자료
연구진은 PISA 2009, 2012, 2015에 참여한 미국 15세 전국 대표 표본의 수학·읽기 응답을 썼다. 문항 특성을 설명변수로 넣는 문항반응 모형으로, 같은 능력의 남녀 학생이 선다형과 서술형 문항에서 정답률이 어떻게 달라지는지 추정했다. 같은 분석을 34개 참여 국가·지역에 반복해 결과가 일관되는지 확인했다.
핵심 결과와 해석
평균적으로 남학생은 선다형 문항을, 여학생은 서술형 문항을 상대적으로 더 잘 맞혔다. 이 방향은 세 주기와 34개 국가·지역에서 일관됐다. 크기는 나라마다 달랐지만 읽기에서 수학보다 컸다. 국가 평균 형식 효과는 수학 0.07 표준편차, 읽기 0.16 표준편차였고, 미국은 각각 0.08과 0.11이었다.
이 크기는 문항 하나만 보면 작다. 문항별 차이는 통상적인 차별기능문항(DIF) 검사의 기준에 걸리지 않는다. 그러나 형식 효과는 무작위로 흩어지지 않고 같은 방향으로 쌓인다. 그래서 시험 전체를 선다형으로 구성할지 서술형으로 구성할지에 따라 측정되는 성별 격차가 달라진다. 미국 주 시험을 분석한 선행 연구(Reardon et al., 2018)도 문항 형식이 주 간 성별 격차 차이의 약 25%를 설명한다고 보고했다.
수능 서·논술형 논의에 주는 의미
수능 서·논술형 논쟁은 주로 사고력 측정과 채점 공정성을 다룬다. 이 연구는 형식 변화가 집단 간 점수 분포 자체를 바꿀 수 있다는 다른 축을 보여 준다. 선다형 중심 수능에서 서·논술형 비중을 높이면, 실제 역량의 변화가 없어도 성별 등 집단 간 점수 차이가 달라질 수 있다. 도입 설계에는 집단별 점수 변화를 예측하고 사후 점검하는 절차가 필요하다.
현장 적용
- 학교 정기고사에서 서술형 비중을 바꿀 때 바꾸기 전후의 집단별 평균 차이를 함께 기록한다.
- 같은 성취기준을 선다형과 서술형으로 모두 묻는 문항 쌍을 만들어, 형식에 따라 결과가 달라지는지 교과협의회에서 확인한다.
- 집단 간 차이가 나타날 때 곧바로 능력 차이로 해석하지 않고 문항 형식과 채점기준을 먼저 점검한다.
한계와 유의점
연구는 성별만 다뤘고 사회경제적 배경이나 언어 배경 같은 다른 집단은 분석하지 않았다. PISA는 저부담 국제 평가이므로 학생의 동기와 준비 방식이 대입 시험과 다르다. 서술형 문항의 채점 방식이 효과에 어떤 영향을 주는지도 따로 분리하지 않았다. 한국 수능 문항으로 직접 검증한 결과가 아니므로 방향성의 근거로 쓰고, 크기는 그대로 옮기지 않는다. 효과 크기는 저자 공개 원고 기준으로 정리했다.
근거로 사용할 수 있는 주장
문항 형식을 바꾸는 일 자체가 성별 점수 격차를 체계적으로 바꾸므로, 서·논술형 도입에는 채점 공정성과 별도로 형식에 따른 집단별 점수 변화 점검이 필요하다는 주장의 근거로 인용할 수 있다.