서 론
우리나라 의학교육현장에서 컴퓨터바탕검사(computer-based testing)를 이미 대부분 의과대학에서 시도하고 있다. 그렇다면 의과대학에서 왜 이런 시도를 할까? 또한 언제부터 의학교육에 컴퓨터바탕검사를 도입하였으며, 어떤 분야에서 다루고 있을까? 외국에서 컴퓨터바탕검사를 적용한 예는 무엇일까? 그리고 이런 시스템을 구축할 때 필요한 문항은행(item bank) 구축은 어떻게 하여야 할지를 다루려고 한다. 아울러 국내 의과대학에서 이러한 시스템을 구축할 때 고려해야 할 요인을 검토하려고 한다. 향후 의사국가검사에서 도입 전망을 살펴, 기존에 활용하는 대학이나 앞으로 도입할 대학에 도움을 주려고 한다.
컴퓨터바탕검사 장단점
컴퓨터화검사(computerized testing)는 컴퓨터를 활용하여 학습성과를 측정하는 검사를 말한다. 컴퓨터를 활용하는 수준에 따라 컴퓨터보조검사(computer-assisted testing), 컴퓨터바탕검사, 컴퓨터이용적응검사(computerized adaptive testing)로 나눈다. 우선 컴퓨터보조검사는 문항출제를 컴퓨터에서 작업하고, 채점을 OMR카드를 답지로 사용하여 컴퓨터로 하며, 이후 문항분석을 컴퓨터로 하는 경우이다. 즉, 검사 자체는 지필고사로 치루더라도 나머지 과정은 컴퓨터를 활용하는 것으로 이미 모든 교육현장에서 일상적으로 이루어지고 있다. 컴퓨터바탕검사는 컴퓨터화면에서 온라인 또는 오프라인으로 검사를 치루고 그 결과를 전송하면 자동 채점되어 수험생의 응답결과를 알 수 있고, 문항분석이 자동으로 이루어지므로 지필고사에서 나아가 컴퓨터를 학습평가에 효율적으로 사용하는 검사라고 할 수 있다. 마지막으로 컴퓨터이용적응검사는 수험생이 문항에 답하면 문항의 난이도모수와 분별도모수에 따라서 수험생의 능력에 가장 적절한 문항을 제시하여 빠른 시간 안에 능력을 추정하는 방법이다. 똑 같은 문항을 수험생이 치루고 그 점수결과로 학습성취도를 측정하는 방식에서 나아가 더 적은 문항으로도 수험생의 능력모수를 정밀하게 측정할 수 있다는 장점이 있다. Table 1에 각 검사법에 대한 차이를 정리하였다. 컴퓨터바탕검사는 지필고사에 비하여 다음과 같은 장점이 있다(Huh, 2009). 1) 모의환자를 동영상으로 제공하는 등 문항을 진료현장에 더 충실히 제공할 수 있다. 2) 인쇄과정을 거치지 않으므로 시간단축과 경비절감이 가능하다. 3) 문항당 소요시간 등 시험 진행과정에 대한 정보 분석할 수 있으며 다양한 수험생의 능력을 분야 및 범주 실시간 문항분석을 하여 바로 되먹이기(feedback)할 수 있다. 4) 시간·공간에 구애받지 않고 네트워크만 연결되면 어디서나 어느 때나 치룰 수 있다.
Table 1.
Comparison among computer-assisted testing, computer-based tesing, and computerized adaptive testing
그에 비하면 다음과 같은 어려움이 있을 수 있다. 1) 프로그램을 도입하는데 전문가의 도움이 필요하나 경비가 든다. 2) 전산시스템이나 네트워크에 오류가 나는 경우 수험생을 당황하게 하며 검사를 중단하는 경구 발생할 수 있다. 3) 장시간 모니터 앞에서 시험을 치를 때는 집중도가 지필고사보다 떨어진다.
이런 어려움은 우리나라와 같이 프로그램 기술이 발전하고 또한 공개된 프로그램도 사용할 수 있으며, 네트워크 역시 전 세계에서 가장 훌륭하게 빠른 속도로 장애가 거의 발생하지 않는 경우 시행에 걸림돌이 되지 않는다. 단, 집중도는 쉽게 떨어질 수 있으므로 충분한 휴식시간을 주고 한번에 60분 이상 치루지 않도록 시간 배정을 하여야 한다.
컴퓨터바탕검사를 의과대학에서 받아들이는 배경
이와 같은 장단점이 있으나 의학교육현장의 학생 성취도 평가에서 이미 증례를 제시하고 문제해결능력을 측정하는 문항이 다수를 이루고 있으며 의사국가시험에서도 강조하고 있으므로 컴퓨터바탕검사를 학교마다 도입하고 있어 거의 대부분의 의과대학에서 시행하거나 준비하고 있다. 증례를 제시하려면 단순히 기술하는 수준에서 벗어나 총천연색으로 자료를 제시하고 소리나 동영상자료를 제시하여야 하기 때문이다. 지필고사에서는 경비도 많이 들고 또한 동영상 자료는 제시하기가 매우 어렵다. 최근 강조하는 성과바탕학습(competency-based learning)에서 더욱더 어떤 자료를 보고 판단하고 해결하는 능력을 강조하고 있으므로 성취도측정검사에서 동영상자료 제시의 필요성이 더욱 늘어나고 있다.
언제부터 우리나라 의학교육에 컴퓨터바탕검사가 도입되었을까?
1985년에 연세대학교의료원에서 질 관리에 컴퓨터를 활용하고 (Chae, 1985), 가톨릭의료원에서 방사선종양학과에서 환자관리에 컴퓨터를 활용한 예가 보고되어(Choi et al., 1987), 교육현장보다 우선 진료에 컴퓨터를 활용하였다. 교육에 활용한 예로 1989년도 서울대학교 의과대학 영상의학교실에서 computer-assisted learning program을 도입하여 근관절 영상의학 분야에서 학생과 전공의 교육에 활용한 보고가 있다(Han et al., 1989). 즉, 의학교육에서 컴퓨터바탕검사보다 먼저 컴퓨터를 학습에 활용하였다. 1980년대에는 의학교육에서 컴퓨터바탕검사를 시행하였다는 보고는 문헌에서 찾기 어렵다.
우리나라 의학교육에서 컴퓨터바탕검사는 1990년대 이후 인터넷이 국내에 정착하면서 활발히 학교마다 시도하였다. 아직 국내 각 의과대학에서 언제부터 컴퓨터바탕검사를 도입하였는지 통계자료는 없으나 교원 개인별로 과목이나 교실 차원에서 시도한 예가 있다. 1995년도에 신경과 전문의고사 제2차 시험에서 컴퓨터를 활용한 예를 보고하였다(SunWoo, 1995). 1999년도에 한양대학교 의과대학에서 컴퓨터바탕검사시스템을 개발한 예를 발표하고 한양대학교 의과대학 일부 교과목에서부터 사용함을 알 수 있다(Song et al., 1999). 한림대학교 의과대학 기생충학교실에서 1995년부터 컴퓨터바탕검사를 치루고 성적에 반영하여 왔으며 2003년부터 모든 임상교과목 시험은 컴퓨터바탕검사로 치렀다. 2006년에는 컴퓨터 이용적응검사를 시행한 결과를 분석하였다(Lee et al., 2006). 2001년도 고려대학교 의과대학에서 문항반응이론에 바탕 둔 문항분석결과를 발표한 논문에서 이 결과를 컴퓨터이용적응검사에 활용할 수 있다고 하여서 이미 컴퓨터바탕검사를 시행하는 프로그램을 도입하고 있음을 알 수 있다(Lee et al., 2001). 2008년에 경북대학교 의과대학에서 컴퓨터바탕검사 개발과 학생의 반응에 대한 결과를 발표하여 이미 학습 평가에 활용하고 있음을 알 수 있다. 학생이 바라본 컴퓨터바탕검사의 장점은 답지를 쉽게 수정할 수 있고, 실제 진료현장의 자료가 나오며, 결과를 빠르게 확인할 수 있고, 검사시간이 짧고, 능력을 정확하게 측정할 수 있으며, 학습에 도움을 준다는 점이다(Im et al., 2008). 2002년도에는 가톨릭대학교 의과대학에서 컴퓨터바탕검사를 시행한 결과 이 시스템의 장점은 시험 후 즉시 되먹이기 할 수 있고, 사용자 환경이 익숙하면 수험생이 매우 편하게 받아들인다는 점이다(Park et al., 2012). 충북대학교 의과대학은 이미 모든 과목 시험에 컴퓨터바탕검사를 이용하고 있다.
이외 우리나라 의과대학 이러닝 컨소시엄(http://mededu.or.kr)을 2007년부터 조직하여 2014년 1월말 현재 전국 41개 의과대학 가운데 33곳이 가입하여 가입한 학교 학생들에게 다양한 증례, 임상 실기시험, 퀴즈, 사진 자료를 제공하고 있다. 즉 2007년부터 가입한 의과대학은 이러닝 컨소시엄 문항 개발에 참여하고 자료를 제공하고 있어서 모두 컴퓨터바탕검사를 시행하고 있다고 하여도 무방하다. 아직 시행하고 있지 못한 곳도 교내에 인터넷 연결된 컴퓨터 수가 충분히 있다면 시행에 어려움이 없다. 이미 다양한 공개 프로그램이 있어 교내 서버에 설치하고 사용할 수 있기 때문이다(Huh, 2010; Lee, 2009).
외국에서 컴퓨터바탕검사를 적용한 예
외국에서 컴퓨터바탕검사를 시도한 예는 학교나 교실 단위로 매우 많다. 여기서는 국가시험처럼 고부담시험(high stakes examination)에서 활용한 예를 살펴보려고 한다. 우선 미국의사국가시험(United States Medical Licensing Examination)은 모두 컴퓨터바탕검사로 치른다. 2014년도 시험을 보면 step I은 기초의학 분야 지식으로 평가하여 325개 선다형 문항을 총 7개로 나눈 60분 단위로 치루며 step II는 임상의학 분야 지식과 술기로 지식은 350개 선다형 문항으로 8개의 60분 단위로 치루고, 술기는 12개 증례 문항으로 15분간 환자를 보고 10분간 기록을 한다. Step III는 470개의 선다형 문항을 45-60분 단위로 치루고 9-12개의 모의환자를 보고 답하는 것을 10-20분 단위로 치른다. 이 과정 중 step I, II는 전 세계에 위치한 Prometric Center에서 치룰 수 있고, step III는 미국 영토 내 Prometric Center에서만 치룰 수 있다. 즉, 미국의사국가시험은 이미 1999년부터 step III까지 모두 컴퓨터바탕검사로 치루기 시작하였다(Dillon et al., 2004).
Medical Council of Canada에서 시행하는 Medical Council of Canada Qualifying Examination Part I은 의과대학을 졸업하고 임상 훈련을 받기 전에 치루는 시험으로 지식과, 술기 태도를 측정하며 2000년부터 컴퓨터바탕검사로 시행한다. Part II는 단독으로 진료를 할 능력이 있는지 측정하는 것으로 임상실기시험으로 각 평가장을 수험생이 방문한다(http://mcc.ca/). 이외 의사국가시험을 컴퓨터바탕검사로 치루는 나라는 아직 찾지 못하였다.
문항은행 구축은 어떻게 하여야 할까?
컴퓨터바탕검사를 시행할 때 당연히 문항을 제작하여야 한다. 일시에 많은 문항을 제작하기는 어려우므로 처음에는 각 과목 시험에서 나오는 문항을 문항반응이론에 따라 문항모수를 구하고 문항별로 특성을 입력하여 데이터베이스에 입력하여 언제든지 문항을 불러와서 수정 보완하여 다시 출제할 수 있도록 적절한 문항을 확보하여야 한다. 과연 얼마나 많은 문항이 은행에 갖추어져야 할까? 컴퓨터바탕검사를 시행할 때, 보통 시행하는 문항 수의 5배 정도만 확보하였다면 문항은행 안에서 문항을 수정 보완하면서 출제하면 충분하다. 문항 노출을 염려할 수 있으나 컴퓨터바탕검사에서 문항 노출은 일어나기 어렵다. 여러 이유가 있는데 일단 자료 제시형에서 다양한 음성이나 동영상파일을 저장할 수도 없고 기억도 쉽지 않다. 자료제시형에서 문항줄기는 길어 ‘당뇨병,’ ‘폐암 치료법’에 대한 문항이라는 정도는 기억할 수 있으나 문항줄기, 제시한 자료, 답가지를 기억하여 수험생에 노출시키는 쉽지 않다. 또한 수험생에게 문항을 굳이 외어서 노출시키는 것이 아무 의미가 없다고 강조하고 그런 행위는 의사 직업전문성에 벗어난다고 알리면 막을 수 있다
문항을 데이터베이스에 입력할 때 어느 수준으로 정보를 입력할지는 어떻게 활용할지에 따라 다른데, 다음과 같은 수준의 항목을 입력하면 추후 재활용에서 편리하다. 1) 교과목 이름; 2) 연도, 학년, 학기; 3) 책임 교원, 문항 출제자; 4) 문항줄기, 답가지, 멀티미디어자료, 정답; 5) 문항 주제어: Medical Subject Heading으로 기술하여 어느 과목에서 어느 주제인지 정보가 있으면 추후 쉽게 불러올 수 있음; 6) 출제형태: A형(오지선다형), R형(답가지가 6개 이상), 단답형으로 한정하고 K형 문항은 입력하지 못하도록 함; 7) 내용 범주: 정의, 병인, 진단, 치료, 예방과 역학; 8) 문항분석결과: 난이도모수, 분별도모수를 문항반응이론에 따라 분석 후 입력하고, 문항반응이론을 적용하기 어려우면 고전검사이론에 따른 난이도지수, 분별도 지수를 입력.
이외 다양한 자료를 입력할 수 있으나 우선 이런 내용을 갖추면 추후 문항은행 데이터베이스를 구축하고 활용할 때 충분히 활용할 수 있다. 또한 한번 사용한 것을 재사용할 때는 일부 수정을 하므로 새 문항으로 입력할 수 있다.
국내 의과대학에서 컴퓨터바탕검사시스템을 구축할 때 고려해야 할 요인
가장 큰 어려움이 의과대학 내에 전문 프로그래머를 고용할 수 있는 의과대학은 거의 없다는 것이다. 병원에는 프로그래머를 고용 하지만 의과대학 차원에서는 거의 불가능하고, 대개는 연구원이나 조교에게 맡기고 전임교원이 감독하는 수준이다. 물론 교원 대우할 수준으로 전문가를 고용하는 것도 현실에서 어렵다. 그러므로 대개는 다음 두 가지 방안 가운데 하나를 선택하여 운영한다.
우선, 의과대학 교원 가운데 자발적으로 이런 시스템에 관심을 갖고 일할 수 있는 분을 책임자로 하여 내부에서 시스템을 갖추도록 한다. 이미 공개된 프로그램이 있으므로 초기에 투자하여 서버에 프로그램을 설치하여 사용자 환경만 맞추면 어렵지 않게 운영 가능하고 업데이트가 필요하며 추가 경비를 들인다. 학교는 최소한 경비로 운영이 가능하며 내부 전문가가 없어도 유지할 수 있다. 두 번째는 대부분의 대학에서의 예로 외주를 주어 전문 회사가 시스템을 구축하고 매년 일정 비율의 유지 보수비를 지급하면서 서비스를 받는다. 현실로는 모두 이런 시스템을 갖춘다.
전자의 경우는 교원의 헌신과 봉사가 필요하여 강요할 수는 없고 자발적인 참여를 기대하는 도리밖에 없어 내부 교원의 역량이 부족하다면 구현할 수 없는 일이다. 이미 공개된 프로그램이 있다고 하여도 프로그래밍이나 서버 운영에 상당한 지식이나 술기가 없다면 교원 수준에서 다루기에는 불가능하다. 장기적으로 안정되게 운영하려면 후자를 선택하는 도리밖에 없다.
그러면 회사는 어떤 곳을 선정할 것인가? 우선 국내에 이런 수준의 작업을 할 수 있는 회사는 여럿이 있으므로 웹에서 어느 회사가 이런 프로그램을 제공하고 유지 관리할 수 있는지를 살핀다. 대개는 중소기업이므로 회사가 그동안 어느 기관에 납품을 하고 어떤 수준으로 운영하는 지를 서비스 받는 의과대학이나 기관에 문의하면 쉽게 알 수 있다. 회사가 운영할 때는 다음과 같은 점을 살펴야 한다. 1) 운영체계는 Linux를 사용하고 Sun의 시스템에도 적용 가능 한가? 2) 프로그래밍은 PHP, Python, JAVA 등 웹에서 활용하기에 편한 언어를 쓰는가? 3) 자료입력은 eXtensible Markup Language (XML)로 제공하며, 데이터베이스 data type definition을 정하고 eXtensible Stylesheet Language와 Cascading Style Sheets를 활용한 style sheet를 제공하여 사용자 환경을 꾸밀 수 있는가? 여기서 입력은 화면에서 입력 폼을 만들어 할 수 있지만 내부구조가 XML tag를 사용한다는 것이다. 물론 텍스트 파일로 XML tag를 활용하여 입력 할 수도 있으나 사용자가 구조를 이해하여야 하므로 웹에서 폼으로 입력하는 것이 편리하다. 4) 데이터베이스는 mySQL과 같은 공개된 것을 사용하는가? 5) 검색엔진은 Lucens나 Swish-e와 같은 공개된 것을 사용하는가? 6) Active X를 전혀 사용하지 않고 작업할 수 있는가? 7) Linux 보안 관련 최신정보에 대해서 습득하고 꾸준한 업데이트가 가능한가? 8) W3C HTML5 기준을 지켜 최소 5종브라우저(Internet Explorer, Google Chrome, Firefox, Safari, Opera)에서 사용자 환경(user interface)에 차이 없이 잘 보이는가?
이런 논의를 할 때, 학교는 비영리단체이므로 굳이 상업용 운영체계나 상업용 데이터베이스를 구매하여야 안정적으로 운영할 수 있는 것은 아니다. 학교에서 운영하는 컴퓨터바탕검사시스템에서는 공개 프로그램을 사용하여도 충분하다. 또한 Active-X를 사용하면 브라우저에서 호환성은 기대할 수 없으며 보안에 취약성이 있으므로 이런 작업은 피하여야 한다. 그러므로 이런 작업을 맡는 교원은 비록 프로그래밍을 직접 수행하지 못하더라도 데이터베이스 관리에 대한 약간의 지식이 필요하다. 어느 회사가 맡더라도 source code를 요청할 수 있으나 문제는 받더라도 학교에서는 그것을 독해할 수 있는 사람이 없으므로 큰 소용이 없고, 또한 다른 프로그래머나 다른 회사에서 맡더라도 기존 프로그램 source code를 주석을 달아 상세하게 기술한 것이 아니라면 거의 소용이 없다. 그러므로 비록 중소기업에 의뢰한다고 하여도 회사가 오랜 기간 유지할 수 있는가를 잘 판단하여야 한다.
의사국가시험에서 언제 컴퓨터바탕검사를 도입할 수 있을까?
보건의료인국가시험원(국시원)에서는 2006년부터 자체 연구를 하고 위원회를 구성하고 시행하는 학교를 방문하였으며(Huh, 2008), 2011년도에 컴퓨터시험 도입 추진위원회를 구성하였다. 이후 시범으로 도입할 직종으로 임상병리사를 지정하여 스마트태블릿(smart tablet)을 사용한 ubiquitous-based testing으로 2011년 11월 5일 약 400명의 응시생을 대상으로 6개 과목 250문항 모의시험을 시행하였다. 즉 그동안 국시원에서 꾸준히 컴퓨터시험을 준비하여 왔고 최근에 다른 직종 국가시험에 먼저 도입하는 것을 검토하여 시범사업을 시행하고 있다(Kim, 2011). 2017년부터 의사국가시험에 도입하는 것을 논의하였다가 최근 다시 시행 시기를 검토하고 있다. 그러나 이 시험을 도입하는 것은 기술적으로 아무런 문제가 없다(Huh, 2012). 단지 정책적인 판단이 필요할 뿐이다. 대부분의 의과대학은 인터넷이나 컴퓨터실 환경이 매우 훌륭하므로 적절한 시험문항 제작을 할 수 있다면 구현하는 데 어려움이 없다. 이미 이러닝 컨소시엄을 통하여 33개 의과대학이 익숙하게 받아들이고 의과대학생 역시 전 세계에서 가장 수준 높은 인터넷 환경에 노출되어 있어서 수험생은 아무 어려움 없이 받아들일 수 있다(Kim & Huh, 2005). 또한 국시원에서는 이 컴퓨터바탕검사를 계속 연구 발전시켜 적용시키겠다는 의지가 확고하므로 시작 시기가 언제가 될지 모르나 다른 직종에서 우선 구현하고 나서 의사국가시험에도 도입할 것이다(Chung, 2013). 장래에 닥칠 또 다른 변화에 대비하여 각 의과대학은 교과목 단위에서 컴퓨터바탕검사를 늘려나가며, 또한 이러닝 컨소시엄을 통하여 교원은 문항제작 훈련을 받고, 학생은 이런 시험에 익숙해지면 충분하다. 개별 대학별로 컴퓨터바탕검사 시스템을 도입하는 것도 한 방법이나 여러 대학이 이 시스템을 공유하여 사용하는 것도 가능하다. 이미 한림대학교 의과대학 시스템에는 여러 의과대학이 참여하여 활용하고 있다. 온라인으로 치르므로 시험장소는 어디든 상관없기 때문이다.
결 론
컴퓨터바탕검사는 이미 의학교육현장에 이미 깊숙하게 자리잡고 있어 다양하게 활용하고 있다. 이런 시스템은 진료현장에도 이미 자리를 잡았다. 이런 형태의 시험을 얼마나 빠르게 받아들일 것인지는 의학 교육자나 의과대학 집행부의 의지에 달려있는데, 가장 중요한 계기는 의사국가시험에서 언제 도입하느냐이다. 이미 1999년과 2000년부터 각각 미국과 캐나다가 도입하고 있고 그 효용성은 검증 되었으므로 굳이 우리나라에서 망설일 필요 없이 빠른 시일 안에 도입이 가능할 것이다. 각 의과대학에서 이에 대한 대비가 필요하므로 이러닝 컨소시엄을 통하여 교원을 훈련시키고 학생들도 환경에 익숙하도록 하고 교내에 컴퓨터바탕검사시스템을 도입하거나 여러 대학이 공동으로 사용하면 충분할 것이다.
PDF Links
PubReader
ePub Link
XML Download
Full text via DOI
Download Citation
Print
