프로세스 데이터를 활용한 응답속도와 정확도의 관계 분석: PISA 2015 미국과 한국의 사례를 중심으로

초록

최근 PISA를 비롯한 국제학업성취도 평가가 컴퓨터 기반 검사로 전환되면서 단순 응답 결과뿐 아니라, 피험자가 문항에 응답하는 과정을 기록한 프로세스 데이터의 수집 및 활용이 가능해졌다. 프로세스 데이터 중에서도 응답시간은 가장 주목받고 있으며, 문항반응이론에 근거하여 응답속도와 정확도의 관계를 분석하는 다양한 심리측정모형이 개발되고 있다. 본 연구에서는 실험심리학에서 수립된 speed-accuracy tradeoff 개념과 van der Linden의 위계적 모형(2007)을 소개하고, 이를 응답속도가 문항 유형(구성형 또는 선다형)을 반영할 수 있도록 확장시켰다. 두 가지 심리측정 모형을 통해 한국과 미국의 PISA 2015 과학 영역 자료를 분석한 결과, 한국과 미국 모두 정확도가 높은 학생들이 더 천천히 응답하는 경향이 있는 것으로 나타났으며, 이러한 경향은 미국보다 한국에서 더욱 강하게 나타났다. 또한 선다형 문항보다 구성형 문항에서 천천히 응답할수록 정확도가 높아지는 경향성이 더 강하게 나타났다.

키워드