서론
고신대학교 의과대학(고신의대)은 세계의학교육연합회(World Federation for Medical Education)에서 제시한 평가인증기준을 바탕으로 한국의학교육평가원에서 마련한 새로운 평가인증기준인 ASK2019 (Accreditation Standards of KIMEE 2019)에 따라 새로운 교육평가체제를 구축하고 이에 따른 교육의 과정(educational process) 전반에 걸친 평가를 진행해오고 있다[1,2]. 특히 재학생과 졸업생의 수행능력을 분석하여 의과대학의 사명, 교육목표, 졸업성과 및 시기성과의 달성 여부를 파악하는 것이 교육평가를 통한 의과대학의 전체 교육프로그램 효과성 확인에 핵심적인 부분이라 진단하였고, 이러한 효과성 확인 결과를 바탕으로 입학부터 졸업 후까지의 전(全) 교육의 과정을 개선하기 위한 기초자료를 확보하기 위해 ‘코호트 평가’를 활용하고 있다.
코호트 구축 목적
코호트 연구는 일정 기간에 걸쳐 공통된 특성이나 경험을 공유하는 연구대상자를 추적하고 분석하는 연구방법으로[3], 입학정보, 인구통계학적 특성 등을 바탕으로 시간의 흐름에 따라 변화하는 결과 변수에 미치는 영향을 확인하는 것이 가능하다[4]. 의과대학에서의 교육성과를 평가하기 위해서는 의과대학 6년 동안의 교육프로그램을 통해 사전에 규정한 졸업성과, 시기성과를 비롯한 학습성과를 달성했는지 여부를 평가할 수 있어야 하며, 졸업 이후의 장기적 성과 역시 평가할 수 있어야 한다[5,6].
고신의대는 종합적인 코호트 데이터 시스템 구축 전에도 이미 각기 다른 위원회에서 각기 다른 목적으로 수집, 분석하고 있던 데이터를 코호트 시스템이라는 보다 체계적이고 일괄적인 시스템으로 묶어 필요한 데이터를 시기에 맞게 수집하고 목적에 부합하도록 분석하여 교육의 과정 각 영역을 개선하기 위한 의미 있는 정보로 활용하고자 하였다[1,2]. 따라서 고신의대 코호트 평가를 위해 재학생, 유급생, 졸업생 등 크게 세 가지 코호트 데이터를 구축하고, 학번, 입학전형, 선택과목, 지역, 유급현황, 재교육 참여 등 다양한 데이터를 바탕으로 사명 달성 여부, 시기성과 및 졸업성과 달성 여부, 교육과정 효과성, 유급과 관련된 수행능력을 분석할 수 있도록 구성하였다. 이를 통해 의과대학 교육프로그램 효과성을 확인하고 교육의 과정 개선을 위한 기초자료를 제공하는 것을 코호트 구축의 목적으로 한다.
코호트 구축과정 및 특징
고신의대는 2018학년도에 학생과 졸업생을 포함하는 코호트를 전향적으로 구성하였고, 코호트 관리를 위한 데이터베이스를 구축하여 수행능력 분석을 위한 기반을 마련하였다. 2019년도 평가인증결과 코호트 관리제도의 정비가 필요함을 확인하였고, 보다 체계적인 교육평가를 위하여 2020년 8월 교내 교육기획평가센터(Center for Educational Development and Evaluation)를 설립하였다. 교육기획평가센터 내 교육질평가팀을 두어 ‘의과대학 코호트 평가 시행세칙’을 바탕으로 하는 코호트 데이터 관리 및 학생 수행능력을 분석하고 있으며, 2021년에는 사명과 교육목표를 바탕으로 하는 시기성과 및 졸업성과 평가를 위한 학생역량관리위원회를 신설하여 코호트 평가지표에 포함되는 시기성과 및 졸업성과 평가방법 개발 및 개정, 평가결과에 따른 교육과정 개선자료 개발 등을 동시에 수행하고 있다. 또한 교육질평가팀에는 교육평가영역을 담당하는 교내 교육중점교수가 소속되어 있어 보직순환 여부와 관계없이 지속적인 참여가 가능하도록 하고 있으며, 이는 데이터 관리 및 분석에 일관성을 부여하고 장기적으로 코호트 평가관리에 도움을 줄 수 있도록 하는 특징을 가진다.
원활한 코호트 데이터 구축을 위해 구축 시점 전체 재학생을 대상으로 ‘개인정보 수집, 이용, 제공 및 활용 동의서’를 수집하였고, 코호트 데이터 수집의 필요성 및 동의서의 목적에 대해 충분히 설명한 후 자율적 선택에 의해 동의서를 제출할 수 있도록 하였다. 이후 신입생에 대한 동의서는 입학식을 통해 교육질평가팀장이 직접 학생들에게 설명하고 온라인으로 수집하였고, 졸업생에 대한 동의서는 문자 및 이메일 발송을 통해 온라인으로 수집하였다.
코호트 구성
2023년 현재 고신의대의 코호트 데이터는 재학생 및 졸업생을 대상으로 사명 개정, 교육과정 기획 및 평가, 학생 상담, 학생 선발 등을 활용 목적으로 하는 수행능력 평가기준을 평가지표로 구성하고 있다(Table 1). 재학생 코호트에는 사명 달성 여부를 확인하기 위한 자기역량평가, 시기성과 달성 여부를 확인하기 위한 시기성과 평가, 교육과정의 효과성을 분석하기 위한 개별 과목 학업성취도 결과, 기초의학종합평가 및 임상의학종합평가 결과, 대구/경북 컨소시움 및 부산/경남 컨소시움 주관 실기시험 평가결과, 입학생의 학업성취도 및 중도 탈락 분석결과 등을 평가지표로 포함하였다. 유급생 코호트에는 매학기 유급 및 제적현황, 개별 과목 학업성취도 결과, 기초의학종합평가 및 임상의학종합평가 결과, 실기시험 평가결과, 재교육프로그램(임상수기재교육, 레머디) 결과 등을 평가지표로 포함하였다. 졸업생 코호트에는 사명 달성 여부를 확인하기 위한 자기역량평가 결과, 졸업성과 달성 여부를 확인하기 위한 졸업성과 평가결과 및 국가고시 성적, 교육과정의 효과성을 분석하기 위한 졸업생 근무지 및 인턴 성적을 평가지표로 포함하였다.
코호트 데이터 구축의 기본이 되는 입학생 입학정보는 의과대학 내부에서 수집할 수 있는 학번, 주소, 생년월일, 성별, 주거형태를 포함한 기본 데이터와 학생들에게 동의를 받아 추가적으로 수집한 데이터로 구성하였으며, 입학연도, 입학전형, 수능등급, 탐구영역 선택과목, 출신고교, 출신지역, 고등학교 졸업연도, 종교, 진로 등을 포함하고 있다(Appendix 1). 이러한 입학정보를 기본으로 하여 재학생의 교육의 과정 중 평가지표로 설정한 항목에 대해 6년간의 데이터를 추적, 수집하도록 전체 시스템을 구성하였으며, 인턴 종료 시점인 졸업 후 1년, 전공의 종료 시점인 졸업 후 5년 후까지 데이터를 관리하고 분석할 수 있도록 구성하였다. 아울러 재학생 기본 정보인 유급 및 제적현황, 재교육 참여현황, 학생활동 현황, 졸업연도, 학생인턴과정 선택영역 등 역시 분석을 위해 수집하고 있다(Appendix 1).
수집한 코호트 데이터는 평가지표 영역과 코호트 종류에 따라 개별 파일(excel)로 나누어 보관하고 있으며, 개인정보보호 및 보안 설정을 위해 모든 데이터에서는 학번과 이름을 삭제 후 개인식별번호를 부여하고, 실제 필요시에만 개인정보와 개인식별번호를 매칭할 수 있도록 ‘Datacode’ 파일을 별도로 구성하고 있다. 또한 분석에 필요한 항목에 따라 입학정보, 유급정보, 인턴 성적, 진로 관련, 졸업생 데이터, 재학생 데이터, 시기성과, 졸업성과로 나누어져 있는 각 파일을 선택하여 데이터를 분석할 수 있도록 구성하고 있다.
코호트 운영 및 활용
2023년 현재 고신의대 내 코호트 데이터 관리실을 지정하고 인터넷 연결이 되지 않은 데이터 보관 전용 컴퓨터를 별도로 운용하여 교육질평가팀장 및 위원, 코호트 평가 담당 직원 외에는 데이터에 접근할 수 없도록 물리적으로 분리하였다. 코호트 데이터는 암호화된 형태의 파일로 보관하고 있으며, 교육질평가팀장을 관리 담당자로 하여 장기적으로 안정적인 코호트 운영이 가능하도록 하였다. 각 영역별 데이터 수집 및 분석은 교육질평가팀 내 담당 위원 및 실무 직원이 진행할 수 있도록 체계적으로 구성되어 있으며, 협력작업을 통해 업무를 분담하고 있다. 또한 일부 재학생 및 졸업생 대상 설문 및 데이터 조사 시 응답률을 높이고 보다 질 높은 데이터를 수집하기 위해 소정의 인센티브를 제공하고 있다.
교육기획평가센터 교육질평가팀은 코호트 데이터를 분석하여 얻은 결과를 바탕으로 2021년부터 입학생 보고서, 시기성과 평가결과, 졸업성과 평가결과, 유급생 보고서, 졸업생 보고서를 포함하는 ‘고신대학교 의과대학 코호트 종합보고서’를 발행하고 있다. 입학생 보고서는 입학생 전체 경쟁률 및 전형별 경쟁률, 입학전형별 중도 탈락자 비율, 희망진로, 입학전형별/출신지역별 분포 등을 분석한 결과를 포함하고 있으며, 매년 3월 중 ‘학생선발위원회’에 전달되어 입학전형 및 학생선발 등에 활용하고 있다. 시기성과 및 졸업성과 평가결과는 각각의 성과 평가도구를 통해 평가되어 ‘학생역량관리위원회’에 보고되고 있으며, 이는 각 시기를 마친 학생들의 진급 여부, 각 성과 달성 여부 파악을 통한 교육과정 기획 및 개편을 위한 기초자료로 활용하고 있다. 유급생 보고서는 학년별 유급대상자 명단 및 유급원인 분석결과를 통해 유급생 관리 및 학생 상담의 기초자료로 활용하고 있다. 특별히 의학과 4학년 유급생 관리를 위해 레머디 프로그램을 운영하고 있으며, 담당 교수를 일대일로 배정하여 대상 학생의 학습을 매일 관리하고 평가하고 있다. 졸업생 보고서는 졸업예정자 국가고시 성적분석과 졸업생 진로분석, 부속병원 인턴 평가결과, 재교육 참가 학생 학업성취도 분석자료 등을 포함하고 있으며 ‘졸업 및 국가고시위원회’에 보고되어 다음 연도 의사 국가고시 학습 지원, 의학과 4학년 성적관리, 국가고시 탈락 졸업생 학습지원 등을 결정하기 위한 기초자료로 활용하고 있다.
결론
고신의대의 코호트 데이터를 통해 분석한 자료는 적절한 시기와 목적에 맞게 각 위원회에 보고되어 다양하게 활용되고 있다. 코호트 데이터 구성 전에는 각 위원회와 의학교육학교실 등에서 개별적으로 데이터를 수집하고 분석하여 때로는 중복된 자료를 수집하거나 결과보고서를 작성하는 경우도 적지 않았다. 학생들에게도 동일한 설문을 통해 정보를 수집하거나 일관되지 못한 자료수집으로 질 높은 데이터를 수집하는 데에도 어려움이 있었다. 코호트 데이터를 구축하고 몇 번의 방법 수정을 거쳐 체계적이고 통합적으로 관리되고 있는 현 시스템을 통해 이러한 문제점을 해결할 수 있었으며, 보다 효율적이고 효과적인 방법으로 재학생 및 졸업생의 수행능력을 분석할 수 있는 기반을 마련하였다. 다만, 코호트 데이터 구축 시점으로부터 아직 의예과 1학년부터 의학과 4학년 졸업 시까지의 6년간 데이터가 모두 모인 동일 코호트는 존재하지 않으며, 현재는 일부 데이터만 분석하여 그 결과를 활용하고 있는 상황에 있다. 앞으로 모든 데이터가 모이는 시점부터는 학생의 입학부터 졸업까지, 그리고 졸업 후의 일부 수행능력 데이터 분석을 통해 사명 및 교육목표 달성, 교육과정 기획 및 개선, 학생 상담, 학생 선발 등에 의미 있는 기초자료로 활용할 수 있으리라 기대한다.
고신의대의 코호트 데이터 시스템은 아직 폐쇄적인 데이터 관리 및 분석에만 국한되어 있지만, 추후 새로운 교육평가시스템을 의과대학 단독으로 개발하여 코호트 데이터에 포함되는 다양한 평가지표에 따른 결과를 자동적이고 정기적으로 추적할 수 있도록 하는 연구를 진행할 예정이다.
PDF Links
PubReader
ePub Link
XML Download
Full text via DOI
Download Citation
Print
