연구가 다룬 문제
학습자의 자기보고와 구체적 문제에 대한 설명을 함께 비교한 평가 연구다.
자료와 방법, 확인한 결과
Davis 연구진은 공학 1학년 학생의 자기보고 설문과 상황 분석 답안을 비교했다. 첫 연구는 263명이 가상 마을의 문제를 분석했고, 둘째 연구는 155명이 우르미아호가 줄어든 원인을 설명했다.
두 연구에서 자기보고와 상황 수행 점수 사이의 유의한 관련성이 확인되지 않았다. 둘째 연구에서는 답안 길이와 기초 피드백 문항의 수행이 상황 분석 점수와 관련됐다. 무엇을 측정하는지에 따라 평가 결과가 달라질 수 있다.
자기보고 도구 일부는 시스템 사고 자체보다 비판적 사고 등 관련 역량을 측정했다. 두 수행 도구를 같은 학생에게 실시하지도 않았다. 따라서 모든 자기보고 검사가 무효라거나 수행 도구가 동일한 능력을 측정한다고 단정할 수 없다.
결과를 읽을 때 살필 점
마을 과제는 문제 정의, 이해관계자, 예상하지 못한 결과 등을 묻고 문항별 설명을 채점했다. 호수 과제는 학생 답안에 나타난 변수, 인과 연결, 피드백 고리를 분석했다.
첫 연구의 자기보고 척도들은 서로 관련됐지만 상황 과제 점수를 설명하지 못했다. 둘째 연구의 답안 길이는 변수와 인과 연결 수와 관련됐으나 피드백 고리 수와는 유의하게 관련되지 않았다.
표본이 공학 초년생에 한정돼 다른 학년과 교과에서 추가 확인이 필요하다. 단어를 많이 쓰는 학생이 높은 점수를 얻을 가능성도 있어, 수행평가 역시 채점 기준을 검토해야 한다.
확인한 범위와 한계
척도마다 측정하는 개념이 다를 수 있으며 특정 도구 비교를 모든 자기보고에 일반화하지 않는다.
수업에서 검토할 제안
우리 수업 제안: 학생의 자기평가와 함께 원인·결과·되돌아오는 영향을 설명한 짧은 답안을 받는다. 답안 분량 자체보다 인과관계의 타당성과 근거를 확인한다.
이 제안을 적용했다면 학생이 남긴 설명과 예측을 함께 살핀다. 같은 문제에 익숙해져 답이 달라진 것인지, 새로운 조건에서도 관계를 설명할 수 있는지 구분한다. 연구 대상과 다른 학년·교과에 적용한 결과는 별도로 확인해야 한다.
인용 맥락과 참고 자료
자기보고만으로 시스템 사고 수행을 판단하지 않고 상황 과제와 함께 읽는 근거. 개입 효과 연구가 아니다.
Davis, K. A., Grote, D., Mahmoudi, H., Perry, L., Ghaffarzadegan, N., Grohs, J., Hosseinichimeh, N., Knight, D. B., & Triantis, K. (2023). Comparing self-report assessments and scenario-based assessments of systems thinking competence. Journal of Science Education and Technology, 32, 793–813. https://doi.org/10.1007/s10956-023-10027-2