Computer­Based Testing and Construction of an Item Bank Database for Medical Education in Korea

의학교육에서 컴퓨터바탕검사와 문항은행 데이터베이스 구축

  • cc icon
  • ABSTRACT

    A number of medical schools in Korea have been using computer-based testing (CBT) for evaluating their students’ scientific and/or clinical performance since the early 1990s. Introducing CBT to medical education would have several advantages: first, presenting figures and audio-video files of clinical content is simple with CBT, making it possible to evaluate medical students’ competency with navigating more realistic clinical situations at minimum cost; second, CBT enables automatic item analysis and score reporting. To establish CBT, constructing an item bank with item parameters such as difficulty or discriminating parameters will be needed. To select more psychometrically sound items, analysis of the items according to item response theory is necessary. CBT has already been introduced in high stakes tests like the United States Medical Licensing Examination and the Medical Council of Canada Qualifying Examination. The National Health Personnel Examination Board in Korea is also planning to introduce a CBT-based version of the National Medical Examination soon. Thus all medical schools in Korea will need to introduce CBT and construct item banks to prepare their students for their licensing examinations and to measure the students’ competency more accurately.


  • KEYWORD

    Educations , Computers , Medical school , Educational measurement

  • 서 론

    우리나라 의학교육현장에서 컴퓨터바탕검사(computer-based testing)를 이미 대부분 의과대학에서 시도하고 있다. 그렇다면 의과대학에서 왜 이런 시도를 할까? 또한 언제부터 의학교육에 컴퓨터바탕검사를 도입하였으며, 어떤 분야에서 다루고 있을까? 외국에서 컴퓨터바탕검사를 적용한 예는 무엇일까? 그리고 이런 시스템을 구축할 때 필요한 문항은행(item bank) 구축은 어떻게 하여야 할지를 다루려고 한다. 아울러 국내 의과대학에서 이러한 시스템을 구축할 때 고려해야 할 요인을 검토하려고 한다. 향후 의사국가검사에서 도입 전망을 살펴, 기존에 활용하는 대학이나 앞으로 도입할 대학에 도움을 주려고 한다.

    컴퓨터바탕검사 장단점

    컴퓨터화검사(computerized testing)는 컴퓨터를 활용하여 학습성과를 측정하는 검사를 말한다. 컴퓨터를 활용하는 수준에 따라 컴퓨터보조검사(computer-assisted testing), 컴퓨터바탕검사, 컴퓨터이용적응검사(computerized adaptive testing)로 나눈다. 우선 컴퓨터보조검사는 문항출제를 컴퓨터에서 작업하고, 채점을 OMR카드를 답지로 사용하여 컴퓨터로 하며, 이후 문항분석을 컴퓨터로 하는 경우이다. 즉, 검사 자체는 지필고사로 치루더라도 나머지 과정은 컴퓨터를 활용하는 것으로 이미 모든 교육현장에서 일상적으로 이루어지고 있다. 컴퓨터바탕검사는 컴퓨터화면에서 온라인 또는 오프라인으로 검사를 치루고 그 결과를 전송하면 자동 채점되어 수험생의 응답결과를 알 수 있고, 문항분석이 자동으로 이루어지므로 지필고사에서 나아가 컴퓨터를 학습평가에 효율적으로 사용하는 검사라고 할 수 있다. 마지막으로 컴퓨터이용적응검사는 수험생이 문항에 답하면 문항의 난이도모수와 분별도모수에 따라서 수험생의 능력에 가장 적절한 문항을 제시하여 빠른 시간 안에 능력을 추정하는 방법이다. 똑 같은 문항을 수험생이 치루고 그 점수결과로 학습성취도를 측정하는 방식에서 나아가 더 적은 문항으로도 수험생의 능력모수를 정밀하게 측정할 수 있다는 장점이 있다. Table 1에 각 검사법에 대한 차이를 정리하였다. 컴퓨터바탕검사는 지필고사에 비하여 다음과 같은 장점이 있다(Huh, 2009). 1) 모의환자를 동영상으로 제공하는 등 문항을 진료현장에 더 충실히 제공할 수 있다. 2) 인쇄과정을 거치지 않으므로 시간단축과 경비절감이 가능하다. 3) 문항당 소요시간 등 시험 진행과정에 대한 정보 분석할 수 있으며 다양한 수험생의 능력을 분야 및 범주 실시간 문항분석을 하여 바로 되먹이기(feedback)할 수 있다. 4) 시간·공간에 구애받지 않고 네트워크만 연결되면 어디서나 어느 때나 치룰 수 있다.

    그에 비하면 다음과 같은 어려움이 있을 수 있다. 1) 프로그램을 도입하는데 전문가의 도움이 필요하나 경비가 든다. 2) 전산시스템이나 네트워크에 오류가 나는 경우 수험생을 당황하게 하며 검사를 중단하는 경구 발생할 수 있다. 3) 장시간 모니터 앞에서 시험을 치를 때는 집중도가 지필고사보다 떨어진다.

    이런 어려움은 우리나라와 같이 프로그램 기술이 발전하고 또한 공개된 프로그램도 사용할 수 있으며, 네트워크 역시 전 세계에서 가장 훌륭하게 빠른 속도로 장애가 거의 발생하지 않는 경우 시행에 걸림돌이 되지 않는다. 단, 집중도는 쉽게 떨어질 수 있으므로 충분한 휴식시간을 주고 한번에 60분 이상 치루지 않도록 시간 배정을 하여야 한다.

    컴퓨터바탕검사를 의과대학에서 받아들이는 배경

    이와 같은 장단점이 있으나 의학교육현장의 학생 성취도 평가에서 이미 증례를 제시하고 문제해결능력을 측정하는 문항이 다수를 이루고 있으며 의사국가시험에서도 강조하고 있으므로 컴퓨터바탕검사를 학교마다 도입하고 있어 거의 대부분의 의과대학에서 시행하거나 준비하고 있다. 증례를 제시하려면 단순히 기술하는 수준에서 벗어나 총천연색으로 자료를 제시하고 소리나 동영상자료를 제시하여야 하기 때문이다. 지필고사에서는 경비도 많이 들고 또한 동영상 자료는 제시하기가 매우 어렵다. 최근 강조하는 성과바탕학습(competency-based learning)에서 더욱더 어떤 자료를 보고 판단하고 해결하는 능력을 강조하고 있으므로 성취도측정검사에서 동영상자료 제시의 필요성이 더욱 늘어나고 있다.

  • 1. Chae Y. M. 1985 Computer-based quality assurance system [Yonsei Med J] Vol.26 P.49-58 google
  • 2. Choi I. B., Kim C. Y., Bahk Y. W. 1987 Experimental computer-based management system of patients in radiation oncology [J Korean Soc Ther Radiol] Vol.5 P.169-172 google
  • 3. Chung M. H. 2013 President’s address: research and development on computer-based testing and extension of clinical skill examination to a variety of fields [J Educ Eval Health Prof] Vol.10 P.1 google
  • 4. Dillon G. F., Boulet J. R., Hawkins R. E., Swanson D. B. 2004 Simulations in the United States Medical Licensing Examination (USMLE) [Qual Saf Health Care] Vol.13 P.i41-i45 google
  • 5. Han M. C., Kang H. S., Han J. K., Im J. G., Choi B. I. 1989 Production of Computer Assisted Learning (CAL) program: self learning material of bone and joint radiology [Korean J Med Educ] Vol.1 P.18-24 google
  • 6. Huh S. 2008 Preparing the implementation of computerized adaptive testing for high-stakes examinations [J Educ Eval Health Prof] Vol.5 P.1 google
  • 7. Huh S. 2009 Application of computerized adaptive testing in medical education [Korean J Med Educ] Vol.21 P.97-102 google
  • 8. Huh S. 2010 Where can I find the free item analysis program based on item response theory, computer-based testing and computerized adaptive testing? [Korean J Med Educ] Vol.22 P.323-324 google
  • 9. Huh S. 2012 Can computerized tests be introduced to the Korean Medical Licensing Examination? [J Korean Med Assoc] Vol.55 P.124-130 google
  • 10. Im E. J., Lee W. K., Lee Y. C., Choe B. H., Chung S. K., Lee T. H., Lee J. M. 2008 Development of computer-based test (CBT) and student recognition survey on CBT [Korean J Med Educ] Vol.20 P.145-154 google
  • 11. Kim K. S. 2011 President’s address: improving the quality of testing [J Educ Eval Health Prof] Vol.8 P.1 google
  • 12. Kim M. Y., Huh S. 2005 Students’ attitude toward and acceptability of computerized adaptive testing in medical school and their effect on the examinees’ ability [J Educ Eval Health Prof] Vol.2 P.105-111 google
  • 13. Lee C. K., Park J. S., Lee E. I., Lee S. J., Park E. S., Park Y. J. 2001 A comparative study of item analysis by item response theory based for initiating CAT (Computer Adaptive Test) system [Korean J Med Educ] Vol.13 P.107-115 google
  • 14. Lee Y. H. 2009 Introduction to an open source internet-based testing program for medical student examinations [J Educ Eval Health Prof] Vol.6 P.4 google
  • 15. Lee Y. H., Park J. H., Park I. Y. 2006 Estimation of an examinee’s ability in the web-based computerized adaptive testing program IRT-CAT [J Educ Eval Health Prof] Vol.3 P.4 google
  • 16. Park J. H., Son J. Y., Kim S. 2012 Experiences with establishing and implementing learning management system and computer-based test system in medical college [Korean J Med Educ] Vol.24 P.213-222 google
  • 17. Song J., Jeong J. H., Shin Y. J., Lee S. J., Park M. I., Nam J., Kim D. W. 1999 A development of computer-based examination (CBE) system for medical students [Korean J Med Educ] Vol.11 P.117-128 google
  • 18. SunWoo I. N. 1995 Personal computers for the second part of neurology board examination [Korean J Med Educ] Vol.7 P.39-43 google
  • [Table 1.] Comparison among computer-assisted testing, computer-based tesing, and computerized adaptive testing
    Comparison among computer-assisted testing, computer-based tesing, and computerized adaptive testing