|
출제자와 응시자, 교육자 세 가지 관점에서 컴퓨터화 시험(Computerized Adaptive Test, CAT) 효과를 진단하는 자리가 마련됐다.
일본 Tetsuo Kimura(니가타세이료 대학교) 교수는 18일 ‘컴퓨터화 시험의 발전과 미래’를 주제로 백범김구기념관 컨벤션홀에서 열린 ‘2017년도 한국보건의료인국가시험원(이하 국시원) 개원 25주년 학술세미나’에서 CAT의 국제 동향에 대해 설명했다.
오는 2020년 도입될 의사 국가고시 컴퓨터화 시험(Smart-device Based Test, SBT)을 위해 국시원은 지난 2016년 8월 의사 컴퓨터화 시험 모의시험을 시행한 바 있으며 2017년도 1급 응급구조사 시험에 SBT를 적용한다.
이번 세미나에서 다룬 CAT는 컴퓨터를 이용한 시험 중 가장 발전한 단계다.
Tetsuo Kimura 교수는 CAT 도입으로 나타난 결과를 출제자와 응시자, 교육자 관점에서 진단했다. 우선 그는 출제자 관점에서 'CAT와 측정 효율성의 증가'에 대해 설명했다.
Tetsuo Kimura 교수는 “CAT는 고정적, 선형시험 대비 문항 수를 줄여 응시 시간을 50% 이상 줄여준다. 시험 길이가 줄어들지만 측정 정확도는 감소하지 않는다”고 말했다.
그러면서 Tetsuo Kimura 교수는 “모든 응시자들이 같은 수준의 정밀도로 응시해 측정 효율성이 높아지는 것이 CAT의 가장 큰 시사점”이라고 전했다.
출제자 관점에 이어 응시자 관점에 대한 언급도 이어졌다. Tetsuo Kimura 교수는 "응시자 관점에서 자기 효능성과 학습에 대한 동기가 감소할 수 있다“며 ”이는 CAT의 경우 전(前) 문항에 대한 답변 수정이 불가한 점 등이 응시자들의 불안감을 증대시키는 원인이 될 수 있다“고 설명했다.
이어 Tetsuo Kimura 교수는 “하지만 이는 문항 선택 알고리즘을 조정함으로써 개선할 수 있다”고 언급했다.
마지막으로 교육자 관점과 관련해서 Tetsuo Kimura 교수는 “기존 선형 시험은 실시 전 문항 검토 후 수정이 가능했지만 CAT는 그럴 수 없다. 교육자들이 문항의 균형을 측정할 수 있느냐 여부에 대한 우려가 크다”고 주장했다.
그러면서 그는 “이는 섀도우 접근법과 다단계 시험을 적용해 해결할 수 있다”며 “다단계 시험은 실시 전 모든 형식을 검토하는 기회를 제공한다는 점에서 선호되고 있다”고 덧붙였다. |
