Korean Med Educ Rev > Volume 22(2); 2020 > Article
일개 의과대학 교육프로그램 평가체제에 대한 연구

Abstract

A systematic educational program evaluation system for continuous quality improvement in undergraduate medical education is essential. Monitoring and evaluation (M&E) are two distinct but complementary processes referred to in an evaluation system that emphasizes formative purpose. Monitoring involves regular data collection for tracking process and results, while evaluation requires periodic judgment for improvement. We have recently completed implementing an educational evaluation using the M&E concept in a medical school. The evaluation system consists of two loops, one at the lesson/course level and the other at the phase/graduation level. We conducted evaluation activities in four stages: planning, monitoring, evaluation, and improvement. In the planning phase, we clarified the purpose of evaluation, formulated a plan to engage stakeholders, determined evaluation criteria and indicators, and developed an evaluation plan. Next, during the monitoring phase, we developed evaluation instruments and methods and then collected data. In the evaluation phase, we analyzed results and evaluated the criteria of the two loops. Finally, we reviewed the evaluation results with stakeholders to make improvements. We have recognized several problems including excessive burden, lack of expertise, insufficient consideration of stakeholders’ evaluation questions, and inefficient data collection. We need to share the value of evaluation and build a system gradually.

서 론

교육평가(educational evaluation)는 프로그램의 장점, 가치, 중요성을 체계적으로 결정하는 일이다[1]. 평가의 접근법에 따라 ‘장점, 가치, 중요성’의 해석에서 차이가 있으며, 평가는 목표 달성 정도를 판단하는 일, 효과와 영향을 사정하는 일, 의사결정에 도움이 되는 정보를 제공하는 일, 프로그램에 관하여 기술하고 판단하는 일 등을 복합적으로 지니고 있는 합리적이고 체계적인 활동이라 정의할 수 있다[2].
모니터링(monitoring)은 프로그램의 질 관리를 목적으로 삼은, 형성적 기능을 강조한 평가모형 중의 하나이다. 모니터링 평가는 한 시점에서 일괄적으로 시행되는 평가와는 달리 지속적인 자료수집과정을 통해 평가가 연속적으로 일어난다는 특성이 있다. 정보를 수집하고 해석하여 가치를 부여하는 것이 평가활동이라고 한다면, 모니터링은 전문성을 확보하지 못한 상태에서도 실행이 가능하며, 폭넓은 자료에 의해 종합적으로 판단하므로 유용하고 실용적인 장점을 지닌다[3].
그러나 모니터링을 평가 시행 전 단계로 인식하여 평가와 구분지어 설명하는 경우가 많다[4,5]. 모니터링이 교육의 진행을 추적하기 위해 지속적·상시적으로 시행하는 정보수집활동인 반면, 평가는 모니터링보다 간헐적으로 일어나고, 프로그램의 성취에 대해 체계적·객관적으로 파악한다. 평가는 프로그램의 타당성, 효과 및 영향을 평가하여 목표, 자원, 교육의 과정(process)을 개선하는 것을 목적으로 한다[5]. 모니터링과 평가는 구분되지만 서로 보완적이어서, 모니터링에서 수집된 자료는 평가의 근거가 되며, 모니터링하는 동안 운영의 문제점을 발견한다면 빠르게 평가하고 중재할 수 있다(Figure 1).
Figure 1.

The relationship between monitoring and evaluation.

kmer-2020-22-2-131-f001.jpg
지속적 발전을 위해 대학은 교육평가를 통해 개선해 나가는 체제를 갖추고 있어야 하지만, 평가에 대한 전문성과 경험의 부족으로 체제 수립에 어려움을 겪고 있다. 한국의학교육평가원에서 발표한 새로운 평가인증기준(Accreditation Standards of Korean Institute of Medical Education and Evaluation 2019, ASK 2019)은 대학이 교육평가체제를 수립해야 하는 책무성을 더욱 강조하고 있다[6]. 따라서 의과대학 단위에서 교육평가를 시행하는 동안 고려했던 사항에 대해 공유하는 것은 의미가 있다고 판단된다. 부산대학교 의과대학은 2015년부터 모니터링과 평가에 대한 준비를 시행하여 2019년에 모니터링과 평가순환체계를 일차적으로 완료하여 그 경험에 대해 기술하고자 한다.

평가자 선정

본격적인 평가를 수행하기 전에 평가목적과 대상에 적합한 평가자를 선정해야 한다. 부산대학교 의과대학은 의학교육학교실(Department of Medical Education, DME)이 교육평가 업무를 총괄하기로 하였다. DME의 전신기관인 의학교육실(Meidcal Education Unit, MEU)은 2016년도에 의학교육 연구, 교육평가 및 질 관리를 담당하는 의학교육학교실(DME)과 교육을 실행하는 의학교육지원실(MEU)로 구분되었다. DME는 4인의 전임교원, MEU는 교육부학장(MEU 실장), 전문위원 14인 및 교육전담 조교 5인으로 구성되어 있으며, DME 교수는 MEU의 부실장 또는 전문위원으로 위촉되어 교육현장에 전문성을 부여하는 역할을 맡는다. DME는 MEU(교육부학장)의 재정적, 행정적 지원을 받아 교육평가 업무를 실행할 수 있다. 이와 같이 DME가 대학 안의 일개 교실이지만, 역사적, 제도적 배경으로 교육평가 시행이 가능한 구조이기에 교육평가 업무를 지속적으로 총괄하기에 적합하다고 판단하였다. 또 DME는 내부평가자로서 평가상황과 여건을 파악하고 있고, 프로그램 내용을 이해하고 있으며, 지원조직(MEU)으로부터 자료수집이 용이한 장점이 있다. 주요 이해관계자와 의사소통이 원활하고 평가결과를 활용하는 데 있어서도 효과적이다[3]. 그러나 내부평가자는 평가에 대한 전문지식이 다소 부족하고 객관적인 평가가 어렵다는 단점이 있어서 필요한 경우 외부자문을 받기도 하였다.

활용 모형

일반적으로 평가는 계획단계부터 실제 개선을 유도하기까지 여러 활동을 포함한다. 평가의 주요 활동은 평가목적의 확인, 이해관계자 확인, 평가준거(criteria)와 평가지표(indicator)의 설정, 평가활동의 설계, 자료수집도구 및 방법의 준비, 자료수집활동 전개, 평가적 판단 실시, 평가보고와 활용으로 구성된다[3].
모니터링과 평가는 사전계획과, 평가 후 개선단계를 강조하여, 계획-모니터링-평가-개선의 단계로 구분할 수 있고, 부산대학교 의과대학은 이 네 단계 모형을 활용하여 실행하였다(Figure 2). 계획단계에서 평가자는 평가의 목적을 확인하고, 이해관계자를 파악하며, 평가준거와 평가지표를 설정하고, 평가활동을 계획하였다. 모니터링단계에서 자료수집도구와 방법을 준비하고, 교육자와 학생을 비롯한 이해관계자로부터 정보를 수집하였다. 평가단계에서는 모니터링에서 수집된 정보를 바탕으로 평가준거에 따라 평가를 시행하였다. 개선단계에서는 평가에서 확인된 문제점에 대해 개선안을 도출하고 의사결정 과정을 거쳐 교육자와 학생에게 환류하였다.
Figure 2.

The steps of monitoring and evaluation.

kmer-2020-22-2-131-f002.jpg
한편, 교육 모니터링과 평가 업무를 지속적으로 시행하고 개선해 나가기 위해서 평가에 대한 평가, 즉 메타평가를 시행하였다[7].

실 행

1. 계획단계

1) 평가목적의 확인

평가의 첫 번째 단계는 평가의 목적을 확인하는 것이다. 대학은 교육의 효과를 측정하여 프로그램의 가치를 판단하고, 이해관계자들에게 정보를 제공하며, 발전을 위한 개선을 유도하기 위해서 평가를 시행한다. Chelimsky와 Shadish [8]은 이 세 가지 평가의 목적을 책무성 관점, 정보 제공을 위한 지식 관점, 개선을 위한 관점으로 분류하였다. 책무성 관점은 총괄평가의 목적이며, 지식 관점과 개선 관점은 형성평가의 목적으로 볼 수 있다[8]. 우리 대학의 평가목적을 총괄-형성평가와 Chelimsky와 Shadish [8]의 관점을 연결하여 Table 1에 제시하였다. 우리 대학은 평가인증의 외부요인이 동기가 되어 정보 공유와 개선 목적에 집중하고자 하였다.
Table 1.

The purposes of evaluation

Perspectivea) Purpose
Summative Accountability perspective To measure results to determine the value of the program
Formative Knowledge perspective To provide information for stakeholders
Developmental perspective To enable educators to make changes
a)The perspectives of Chelimsky and Shadish [8].

2) 이해관계자 확인과 참여계획

이해관계자는 교육프로그램과 관련이 있거나 영향을 받는 모든 사람을 의미한다. ASK 2019 평가인증기준에 따르면 주요 이해관계자는 학장, 보직자, 교수, 교육과정 관련 위원회, 학생대표, 대학본부로 정하고 있다.
주요 이해관계자 중에서 모니터링-평가-개선활동에 직접적으로 참여하는 그룹을 정하였다. 즉 학생 중에 학생모니터링그룹은 수업과 실습을 직접 모니터링하고, 학생대표와 MEU 교육전담 조교는 교육관련 위원회에 참여하여 평가와 개선에 참여하였다. 교수 중에 과정책임교수, 수업참여교수, 시기책임교수, 교육 관련 위원회 위원, 학장단은 교육평가 또는 개선의 주체가 되었다. 본부의 협조가 필요한 경우 학장단은 대학본부에 사안에 대해 요청하였다.
다른 이해관계자는 간접적인 방법으로 의견을 제시하였다. 모니터링 과정 동안 교수, 외부병원 임상실습 지도의사, 전공의를 포함하는 교육자, 재학생과 졸업생을 포함하는 학생, 동창회, 외래교수, 지역사회 시민을 포함하는 이해관계자로부터 설문을 통해 의견을 수렴하였다.
모니터링과 평가과정 동안 이해관계자의 직접적·간접적 참여에 대해 Table 2, Table 3, Figure 3에 표시하였다.
Table 2.

The direct participation of stakeholders in the evaluation process

Stakeholders Monitoring Evaluating Improving Meta-evaluation
Student monitoring groups O O (during FGI)
Staff in medical education unit O O O
Course director O O O
Professor having lesson O O O
Phase director O O O
Curriculum committee O O
Curriculum committee including student and staff O O
Outcome committee O O
Student mentoring committee O O
Admission committee O O
Dean and associate dean O O
Director of student affairs or director of academic affairs (in the university) O
FGI, focus group interview.
Table 3.

The indirect participation of stakeholders in the evaluation process

Stakeholders Survey on
Verifying of mission and graduation outcome Satisfaction with education Performance or competency(including cohort) Environment, culture, mental health, and learning style Satisfaction with operation of medical schools Satisfaction with admission processa)
Student O O O O O
Educator
Professor O O O O O
Residents as teacher O O
Preceptor at the primary and secondary hospitals O O
Other
Alumni, external professor O O
Community O O O O
a)Some data were not used during the evaluation.
Figure 3.

The overview of educational program evaluation system. FGI, focus group interview.

kmer-2020-22-2-131-f003.jpg

3) 평가준거와 평가지표의 설정

평가준거는 평가하고자 하는 대상 또는 내용의 속성을 나타내고, 평가지표는 평가준거의 판단을 위한 근거자료를 의미한다. 우선 평가준거를 정한 후 평가지표를 선정하는 순서로 시행했으나, 상호보완적으로 이루어졌다. 평가준거를 설정하기 위해 평가모형, ASK 2019 평가인증기준, 이해관계자의 관심사항, 현재의 교육과정 문서 등을 활용하였다.
먼저, 몇 가지 평가모형을 비교해 보았다. Kirkpatrick [9] 모형은 프로그램의 성과를 4단계로 나누어 만족도, 목표 달성도, 현업 적용도, 교육성과를 분석하는 틀인데, 교육의 과정(process)에 대한 평가가 부족하였다. 논리모형(logic model)과 맥락-투입-과정-산출(context-input-process-product, CIPP) 모형은 교육의 과정과 결과를 거시적으로 평가하는 대표적인 평가모형으로 알려져 있다[10,11]. 이 중 CIPP 모형은 교육의 맥락평가를 포함하고, 직선이 아닌 순환구조를 갖고 있으며, 논리모형보다 단순하여 적용하기가 용이하다고 판단되었다[12]. 우리 대학은 CIPP 모형으로 맥락, 투입, 과정, 산출의 과정이 차례로 순환하는 과정을 평가하지 않고, 전체적인 평가준거를 맥락, 투입, 과정, 산출의 ‘평가 영역’으로 구분하는 데 사용하였다.
평가모형을 결정한 후, 평가의 내용을 구체화하고 평가의 목적을 상기시키며 이해관계자의 관심사항을 반영하기 위해 평가준거를 개발하였는데, CIPP 평가모형, 현재 교육과정 문서, ASK 2019 평가인증기준, 이해관계자의 관심사항을 중심으로 추출하였다. 먼저, CIPP 모형의 각 영역별로 현재 교육과정 문서에서 의도한 성과 및 학생평가방법과 평가인증기준을 고려하였다. 이 과정에서 CIPP 모형의 산출영역은 단기효과, 장기효과, 코호트평가로 확대되어 Kirkpatrick 모형과 유사하게 되었다. 또 이해관계자의 관심사항을 반영하기 위해 학장단, 교육과정위원회, 학습성과위원회, 입학전형위원회 및 학생지도위원회에 평가를 위한 질문을 요청하였다. 예를 들어 입학전형요소와 관련된 수행능력은 입학전형위원회의 관심사항으로 평가준거에 추가되었다.
평가준거의 설정과 동시에 평가지표를 정하였고 실행 가능성을 고려하였다. 예를 들어 ‘투입-인력-수업교수는 교육전문성이 있는가?’의 평가준거를 판단하기 위해 평가지표는 교수직급별 수업시간으로 하였다. 교육경력이나 교수개발 이수시간 등을 평가지표로 하는 것이 타당하나 자료수집의 한계가 있었다.
우리대학의 평가체제에서는 모니터링단계에서 평가지표가 되는 자료를 수집하였고, 평가단계에서 평가준거를 통해 판단을 하였으며, 개선단계에서 각 위원회와 교수에게 관련 평가준거의 평가결과를 제시하고 개선안을 도출하도록 하였다. 평가준거와 평가지표가 모니터링-평가-개선의 단계에서 어떻게 활용되는지는 부록 1부록 2에 제시하였다.

4) 평가활동의 계획

모니터링-평가-개선은 맥락, 투입, 과정, 산출영역의 수업·과정 평가와 시기·졸업 평가의 두 축으로 시행하였다. 수업·과정 평가는 실제 수업에 참여하는 교수가 중심이 되어 과정 개선을 목표로 하며, 시기·졸업 평가는 의학교육학교실, 교육 관련 위원회, 시기책임교수, 학장단 및 대학본부가 주체가 되어 거시적 관점에서 시기별 또는 전체 프로그램 개선과 책무성을 입증하고자 하였다.
Stake [13]가 제안한 평가의 차원에 따라 수업·과정 평가와 시기·졸업 평가의 특성을 나타내면 Figure 4와 같다. 형성평가-총괄평가의 차원에서 수업·과정 평가는 형성평가의 의미가, 시기·졸업 평가는 총괄평가의 의미가 좀 더 강하다. 비공식적-공식적 차원에서 두 축 모두 공식적 의미가 있는데, 시기·졸업 평가가 조금 더 공식적 활동으로서 보고서를 체계적으로 작성하여 보고를 한다. 수업·과정 평가는 특정 과정에 대해서만 평가하고 시기·졸업 평가는 전체 교육을 대상으로 한다. 수업·과정 평가는 과정에 좀 더 집중하지만, 시기·졸업 평가는 결과에 집중하는 경향이 있다. 수업·과정 평가는 좀 더 서술적인 반면, 시기·졸업 평가는 판단적이다. 수업·과정 평가는 평가자가 그 과정에 대해 미리 알고 있으나, 시기·졸업 평가는 예상치 않은 교육의 과정에 대해서도 평가한다. 수업·과정 평가는 분석적인 경향이 있으나, 시기·졸업 평가는 입학부터 졸업까지 과정과 결과를 전체적 관점에서 평가한다. 수업·과정 평가는 실제 수업을 담당하는 교수가 직접 평가하지만, 시기·졸업 평가는 교육과정을 설계하고 운영하는 위원회와 독립적인 기관에서 평가하며, 외부전문가의 자문을 받을 수 있다[2,14]. 수업·과정 평가는 보다 참여자 중심의 접근형태이다[2].
Figure 4.

The differences between lesson/course evaluation and phase/graduate evaluation according to dimensions of evaluation. LC, lesson/course; PG, phase/graduate.

kmer-2020-22-2-131-f004.jpg
수업·과정 평가와 시기·졸업 평가는 서로 보완적으로 실행되었다. 수업·과정 평가에서 발견된 문제점은 시기·졸업 평가에서 종합적으로 다루어지고, 시기·졸업 평가에서 도출된 개선안이 수업·과정 평가에 적용되는 순환관계가 형성되었다.

5) 메타평가계획 수립

메타평가 설문문항은 경제협력개발기구(Organization for Economic Cooperation and Development) 평가준거를 참고하여, 이해관계자의 요구 충족(요구 일치도), 평가목적의 달성(효과성), 효율적인 방식으로 평가 실행(효율성), 평가활동을 통해 변화 또는 개선 유도(영향력), 평가활동의 지속 가능성(지속 가능성)에 대해 5점 척도로 구성하였다[14]. 평가·개선 워크숍에 참석하는 이해관계자를 대상으로 설문을 시행할 계획을 수립하였고, 학생모니터링그룹은 포커스그룹 인터뷰하는 동안, MEU는 회의를 통해 정보를 수집하기로 하였다.

2. 모니터링단계

모니터링체제는 Figure 3의 좌측에, 수집하는 평가지표는 부록 1부록 2에 제시하였다. 모니터링은 자료 수집 시기와 내용에 따라 수업·과정, 시기·졸업, 입학, 코호트, 정신건강으로 구분하였다. 수업·과정 모니터링 자료는 수업·과정 평가에, 시기·졸업, 입학, 코호트, 정신건강 자료는 시기·졸업 평가에 사용되었다. 자료수집의 주체는 MEU이며, 학생모니터링그룹과 행정실이 자료수집의 일부를 담당하였다. 교육자, 학생을 비롯한 이해관계자로부터 평가지표에 대한 의견을 수집하였다. 자료수집방법은 양적·질적 자료를 함께 사용하는 것을 권장함에 따라[15], 설문 등의 양적 방법과 포커스그룹 인터뷰 등의 질적 방법을 함께 사용하였으며, 공식자료뿐만 아니라 게시판 등의 비공식적인 경로도 활용하였다. 모니터링 실행을 위해 자료수집도구를 작성하고 방법에 대해 계획하였다.

1) 자료수집도구 및 방법 준비

DME는 학생모니터링그룹이 평가지표를 이해하고 자료를 수집할 수 있도록 보고서 양식을 제공하였다. 학생모니터링그룹은 과정마다 6명의 학생으로 구성되며, 성별과 성적을 고려하여 그룹을 구성하였다. 과정지침서의 교육계획이 아니라 실제 교육을 받은 사실에 근거해서 교육내용, 수업교수, 수업방법, 평가방법 등에 대해 모니터링하도록 교육하였다.
DME는 MEU 교육전담 조교에게 성적분석과 기본통계분석 방법에 대해 사전에 교육하고, 모니터링 보고서 양식을 제공하여 관리할 평가지표를 안내하였다. 과정 강의평가 설문을 검토하고 포커스그룹 인터뷰 질문지를 작성하였다. 학년말에 이해관계자에게 시행하는 설문지와 포커스그룹 인터뷰 질문지를 작성하였다.
코호트 평가를 위해 자료 수집에 대한 동의서 양식을 작성하고, 역량 구성요인을 정하며, 역량 합산방법을 모색하였다. 역량 관련 요인으로 입학전형요소, 정신건강과 학습유형, 교육과정(의과대학/의학전문대학원) 등을 수집할 계획을 세웠다. 졸업 후 역량을 확인하기 위해 설문지를 작성하였다.

2) 자료수집활동: 수업·과정 모니터링

수업·과정 모니터링은 과정의 계획부터 운영, 종료 동안 자료를 상시적으로 수집하였다. 모니터링하는 평가지표를 CIPP 평가준거에 따라 살펴보면 부록 1, 2와 같다. 1, 2학년 통합교육에서 학생모니터링그룹은 과정 수업을 받으면서 수업·과정을 모니터한 결과를 과정 종료 1주 이내에 MEU에 제출하였다. 학생모니터링 보고서를 바탕으로 포커스그룹 인터뷰를 통해 추가 정보를 수집하였다. MEU는 과정 종료 2주 이내에 강의평가 설문, 포커스그룹 인터뷰, 성적분석, 조사 등을 시행하여 ‘과정 모니터링 보고서’를 작성하였다. 3, 4학년 임상실습 동안 학생모니터링그룹은 보고양식에 따라 실습을 모니터링하여 MEU에 보고서를 제출하였다.

3) 자료수집활동: 시기·졸업, 입학, 코호트 및 정신건강 모니터링

시기·졸업 모니터링은 DME의 계획에 따라 MEU가 학년말에 수행하였다. 거시적인 관점에서 수집하는 CIPP 항목의 평가지표는 부록 1, 2와 같다. MEU는 시기·졸업 종료 전후 학생으로부터 설문과 포커스그룹 인터뷰를 시행하고 ‘시기 모니터링 보고서’를 작성하였다. 교육자를 포함한 다양한 이해관계자로부터 설문을 종합적으로 시행하여 자료를 수집하였다.
코호트 모니터링은 코호트 대상 학생과 졸업생의 입학부터 과정, 시기, 졸업까지의 일련의 정보를 MEU가 상시로 수집하였다. 대상 코호트의 수행능력, 국가고시 합격률, 진로 등을 장기적으로 수집하였다.
정신건강 모니터링은 성격유형(Myers-Briggs Type Indicator)과 심리상태(간이정신진단검사, K-SCL-95)에 대하여 매년 수집하였다.

3. 평가단계

평가체제는 Figure 3에, 평가준거와 평가지표는 부록 1부록 2에 제시하였다. 평가와 개선활동은 수업·과정과 시기·졸업 두 축으로 시행하였다.

1) 수업·과정 평가

수업·과정 축은 평가와 개선 주체가 동일한 특성이 있다. 과정책임교수와 과정참여교수가 ‘과정 평가·개선 워크숍’에 참석하여 과정 평가준거에 따라 평가를 시행하였다. 과정 평가 워크숍은 학기 종료 후 시행했으며, 지난 교육과정(과정지침서)과 과정 모니터링 보고서가 평가의 근거가 되었다.
워크숍 진행절차는 DME가 과정 모니터링 결과와 교육과정의 개선방향에 대해 발표한 후, 과정별로 소그룹으로 모여 과정성과, 과정 교육과정, 교육방법 또는 평가방법에 대해 평가하였다. 과정별 토의하는 동안 과정책임교수는 ‘과정 평가 보고서’를 작성하고, 토의가 끝난 후 개선방안에 대해 공유하는 시간을 가졌다.

2) 시기·졸업 평가

DME는 시기·졸업 모니터링 자료를 바탕으로 단기·장기 결과(product)를 분석하고, 코호트 자료를 바탕으로 재학생과 졸업생의 수행능력을 분석하였다. 예방의학 및 직업환경의학교실의 협조를 받아 지역사회 건강현안에 대해 분석하고, 의료환경 변화와 학습환경·문화에 대한 분석을 시행하였다(교육의 맥락). 시기·졸업 모니터링 보고서를 바탕으로 투입과 과정에 대한 분석을 시행하였다. 형성평가 시행방법에 대해 교육학과 교수의 자문을 받았다. 반복 회의를 통해 시기·졸업 평가를 시행하고 ‘평가 보고서’를 작성하였다.

4. 개선단계

개선체제는 Figure 3의 우측에, 평가준거와 평가준거에 따른 개선 주체는 부록 1부록 2에 제시하였다.

1) 수업·과정 개선

과정책임교수는 워크숍에서 도출한 개선방안에 대해 다음 학기 과정을 계획할 때 반영하고 ‘개선 보고서’를 제출하였다. 과정참여교수는 ‘교육활동계획서’를 의무적으로 작성하도록 하여 수업 개선이 이루어지도록 하였다.

2) 시기·졸업 개선

시기·졸업 교육 개선을 위한 ‘교육 개선 워크숍’은 학년 종료 후 시행했으며, 교육과정위원회, 학습성과위원회, 학생지도위원회, 입학전형위원회, 시기책임교수, 학장단, 학생대표 및 MEU 교직원이 참석하였다. 워크숍 진행절차는 DME가 교육평가결과를 발표한 후 각 위원회별로 개선방안에 대해 그룹토론을 시행하였다. 교육과정위원회와 시기책임교수는 교육과정에 대해, 학습성과위원회는 졸업성과, 학생지도위원회는 학생지도 방법, 입학전형위원회는 신입생 선발에 대해 개선안을 도출하고 ‘개선 보고서’를 작성하였다. 위원회는 개선안에 대해 발표하고 학장단과 공유하였다. 학장단은 예산과 시설에 대한 내용뿐만 아니라 각 위원회에서 나온 건의사항에 대해 개선방법을 모색하였다. 본교의 협조가 필요한 사항은 본부에 요청하였다.
이후 교육 관련 위원회의 지속적 회의와 대학위원회의 회의를 거쳐 개선안에 대한 의사결정이 이루어지면, 공문, 회의, 간담회, 교육프로그램, 안내서, 게시판 등을 통해 교육자와 학생에게 환류하였다.

5. 메타평가

평가·개선 워크숍에 참석했던 이해관계자 중 메타평가 설문에 총 61명이 응답하였다. 과정책임교수, 과정참여교수, 교육 관련 위원회 위원과 학장단을 포함하여 교수 56명, 학생 3명, 교직원 2명이었다. 평가활동의 요구 일치도, 효과성, 효율성, 영향력, 지속 가능성 항목 모두에서 ‘만족’ 또는 ‘매우 만족’을 응답한 경우가 85% 이상이었다(Table 4). 그러나 교육평가 총괄기관인 DME와 모니터링의 주체였던 MEU는 다음과 같은 문제점을 인지하였다.
  • - 교육평가 전담인력과 예산 확보

  • - 교육평가에 대한 전문성 부족

  • - 이해관계자의 평가 질문 반영 미비

  • - 자료수집의 비효율성과 부정확한 자료

  • - 자료분석의 객관성, 타당성 확보

  • - 교수 참여 유도의 어려움

  • - 개선안의 실현과 환류

Table 4.

Meta-evaluation

Items Very satisfied Satisfied Neutral Unsatisfied Very unsatisfied Total
1. Relevance: meeting stakeholders’ needs 12 (19.7) 40 (65.6) 9 (14.8) 0 0 4.0±0.6
2. Effectiveness: achieving the evaluation objectives 18 (29.5) 35 (57.4) 8 (13.1) 0 0 4.2±0.6
3. Efficiency: implementing evaluation in an efficient way 16 (26.2) 36 (59.0) 9 (14.8) 0 0 4.1±0.6
4. Impact: making changes or improvements through evaluation 22 (36.1) 34 (55.7) 4 (6.6) 0 0 4.3±0.7
5. Sustainability: being able to continue evaluation process 14 (23.0) 37 (60.7) 10 (16.4) 0 0 4.1±0.6
Values are presented as number (%) or mean±standard deviation.
위의 문제점을 해결하기 위해서 다음과 같은 노력이 필요하겠다. 첫째, 평가를 지속적으로 시행하기 위해서는 평가 전담인력과 예산의 확보가 시급하다. 모니터링과 평가는 일회성이 아니라 상시적인 업무이며, 계속적인 관심과 추적을 통해 변화를 유도할 수 있다. 둘째, 평가 총괄기관은 전문성을 향상시켜야 한다. 전문성은 외부 전문가와의 공동평가 또는 평가에 대한 직·간접경험을 통해 증가시킬 수 있다. 셋째, 평가준거는 주요 이해관계자의 평가질문을 반영해야 관심과 참여를 유도할 수 있으므로, 대학 구성원의 의견과 특수성을 반영하기 위해 노력해야 한다. 넷째, 평가기관은 모니터링과 평가계획을 조기에 체계적으로 세워야 한다. 자료수집도구 등을 종합적으로 개발하여 자료수집과정을 용이하게 해야 한다. 다섯째, 모니터링 주체기관은 자료수집·분석의 효율성을 확보해야 한다. 온라인 설문을 사용하여 코딩·분석과정을 간소화하고, 이해관계자의 의견을 빠짐없이 수렴하며, 설문 여부와 질에 대해 관찰해야 한다. 모니터링 주체는 평가지표에 대해 이해하고 정확하게 수집해야 한다. 코호트 자료와 같이 장기간 축적이 필요한 자료는 상시에 수집한다. 여섯째, 평가의 타당성을 높이기 위해 자료분석을 객관적이고 엄정하게 시행해야 한다. 일곱째, 교육 관련 위원회와 학장단은 교육평가의 중요성에 대해 인지하고 있어야 한다. 교수 참여를 독려하고, 개선안을 실현하기 위해서 지속적인 노력을 기울여야 하며, 변화 내용을 이해관계자와 공유해야 한다.

결 론

지금까지 일개 의과대학에서의 교육 모니터링과 평가의 실행 경험에 대해 살펴보았다. 교육평가 실행과정에서 많은 문제점과 개선사항이 도출되었지만, 이 중 가장 중요한 것은 대학 내 평가자의 전문성, 평가의 가치에 대한 공유이다. 평가를 맡은 기관은 전문성을 키우고 실제적인 발전을 유도해야 하며, 학교 문화는 평가 업무의 가치를 인정해 주고 지원해 주어야 한다.
대학 상황에 맞는 평가체제를 만드는 것도 중요하겠다. 평가의 목적은 구성원 간의 교육정보 공유와 개선에 있음을 염두 해야 한다. 평가인증의 기준 달성을 위해 평가를 실행한다면, 대학 고유의 맥락을 놓치거나 대학의 장점과 특성을 잃어버릴 수 있다. 일회성이 아니라 지속적인 평가를 위해서는 평가활동이 교육 개선에 실질적인 도움이 되어야 하고 실행 가능해야 한다. 평가에 대한 다양한 접근법이 있고, 이해관계자의 의견을 반영하여 의미 있는 평가준거를 선택하며, 평가방법과 도구를 다양하게 적용할 수 있으므로, 대학마다 알맞은 교육프로그램 평가체제를 만들어가야 할 것이다. 가용 가능한 인력으로 현실적으로 접근해야 하며 시범평가를 통해 장기적으로 시스템을 수립해 나가야 한다[15]. 우리가 바라는 지속적인 발전은 안정적인 평가체제 수립을 통해 이룰 수 있다.

NOTES

저자 기여 윤소정: 원고 작성과 검토; 이상엽: 원고 검토와 개선; 임선주: 원고 작성과 검토; 저자 모두는 교육프로그램 평가체제를 주체적으로 수립함

Acknowledgments

이 과제는 부산대학교 교수국외장기파견지원비에 의하여 연구되었다.

REFERENCES

1. Scriven M. Evaluation thesaurus. 4th ed. Sage; Newbury Park (CA): 1991. 53.
2. Goldie J. AMEE education guide no. 29: evaluating educational programmes. Med Teach. 2006;28(3):210-224.
crossref pmid
3. Bae HS. Theory-driven educational program evaluation. Wonmisa; Seoul: 2008.
4. Rossi PH, Lipsey MW, Freeman HE. Evaluation: a systemic approach. 7th ed. Sage; Thousand Oaks (CA): 2004. 171.
5. Chen HT. In: Chen HT, editor. Practical program evaluation: assessing and improving planning, implementation and effectiveness. Sage; Thousand Oaks (CA): 2005. p. 181-188. Monitoring the progress of a program.
6. Korean Institute of Medical Education and Evaluation. Accreditation Standards of Korean Institute of Medical Education and Evaluation 2019. Korean Institute of Medical Education and Evaluation; Seoul: 2020 Internet, Available from: https://kimee.or.kr/board/data/?uid=1318&mod=document&pageid=1. cited 2020 Apr 25.
7. Scriven M. Evaluation thesaurus. Sage; Newbury Park (CA): 1991. 228.
8. Chelimsky E, Shadish WR. Evaluation for the 21st century: a handbook. Sage; Thousand Oaks (CA): 1997.
9. Kirkpatrick D. Revisiting Kirkpatrick's four-level model. Train Dev. 1996;50(1):54-57.
10. Frechtling J. Logic modeling methods in program evaluation. John Wiley & Sons; San Francisco (CA): 2007.
11. Stufflebeam D, Shinkfield A. Evaluation theory, models, & applications. Jossey Bass/John Wiley & Sons; San Francisco (CA): 2007.
12. Frye AW, Hemmer PA. Program evaluation models and related theories: AMEE guide no. 67. Med Teach. 2012;34(5):e288-299.
crossref pmid
13. Stake RE. Evaluating educational programmes: the need and the response. Organization for Economic Cooperation and Development; Paris: 1976.
14. Development Assistance Committee Network on Development Evaluation. Evaluation criteria. Development Assistance Committee Network on Development Evaluation, Organization for Economic Cooperation and Development; Paris: 1991 Internet, Available from: https://www.oecd.org/dac/evaluation/daccriteriaforevaluatingdevelopmentassistance.htm. cited 2020 Apr 25.
15. Cook DA. Twelve tips for evaluating educational programs. Med Teach. 2010;32(4):296-301.
crossref pmid

Appendices

부록 1.

수업·과정 평가준거와 평가지표: 모니터링-평가-개선 단계에서의 활용

1) 기초임상수직통합교육

구분 통합교육 수업·과정 모니터링 통합교육 수업·과정 평가 통합교육 수업·과정개선
주체 학생모니터링그룹 의학교육지원실 과정책임교수 과정책임교수 담당교수
시기 과정별 과정 전후 학기별 학기별
항목 모니터링 평가지표 (대상) 모니터링 평가지표 (대상) CIPP 평가항목 평가준거 개선항목
내용 과정성과, 수업성과 항목 [과정지침서, 수업계획서] Context 과정성과 시기성과에 맞추어 다양한 과정성과를 설정하였는가? O
과정성과와 수업성과의 연계 [과정지침서, 수업계획서] 설정된 과정성과에 대한 수업이 이루어지는가? O O
수업교수와 시수 조사 교수직급별 수업시수 Input 인력 수업교수는 교육전문성이 있는가? O O
교육과정운영비 조사 예산 교육과정 운영비가 적절하며 효율적으로 사용하였는가? O
전략 교육과정의 설계원칙인 SyMBIOSIS를 준수하였는가? O O
성찰활동 여부 (2020부터) 평생학습을 준비할 수 있도록 하였는가? O O
평등원칙 준수 여부 (2020부터) 평등원칙을 준수하였는가? O O
과정구성 (수업내용) 조사 Process 교육과정(구조/구성/기간) 기초·임상뿐 아니라 인문학 수업을 포함하고 있는가? O O
통합을 위해 증상 또는 임상표현에 대해 종합적으로 접근하는 수업 (PBL, CPX, 증례 등)을 포함하고 있는가? O O
과학적 방법/ 의학연구/ 근거중심의학을 교육하는가? O O
현재와 미래의 의료환경 변화에 맞추고 있는가? O O
수업 순서에 대한 의견 제시 수업의 순서는 적절한가? O O
수업방법별 시수 교수학습방법 다양한 교수학습방법을 사용하고 있는가? O O
성과에 맞는 방법으로 수업하는가? O O
학생평가 방법 학생평가 다양한 평가방법을 사용하고 있는가? O O
성과에 맞는 방법으로 평가하고 있는가? O O
형성평가 횟수와 방법 학습을 점검하고 증진시킬 목적의 형성평가를 시행하고 있는가? O O
시험 횟수와 유형 시험의 횟수와 유형은 적절한가? O
피드백 방법과 면담 건수 적절한 피드백을 제공하는가? (정답공개, 시험정적공개, 문제풀이, 면담 등) O
수업변동률 과정운영 수업이 변경되지 않고 계획대로 시행되는가? O O
교수별 수업의 질 수업참여교수는 수업운영을 적절하게 하고 있는가? O O
과성성과 도달에 대한 학생 자기 평가 성적 자료 Product 과정성과 달성도 학생들은 과정성과에 도달하였는가?
(도달하지 못한 항목과 그 이유는 무엇인가?)
O O
강의평가 설문 (학생)
PBL 만족도 설문 (교육자, 학생)
포커스그룹인터뷰 (학생)
교육만족도 교육만족도는 어떠한가? O O
CIPP, context-input-process-product PBL, problem-based learning; CPX, clinical performance examination.

2) 임상실습 과정

구분 임상실습 과정 모니터링 임상실습 과정 평가 임상실습 과정 개선
주체 학생모니터링그룹 의학교육지원실 임상실습 과정책임교수 임상실습
과정책임교수
임상실습
담당교수
시기 항목 임상실습 직후 임상실습 직후 학년말 학년말
모니터링 평가지표 (대상) 모니터링 평가지표 (대상) CIPP 평가항목 평가준거 개선항목
내용 임상실습 과정성과 [임상실습지침서] Context 과정성과 시기성과에맞추어다양한임상실습과정성과를설정하였는가? O
증상과 수기 항목 [임상실습지침서] 증상과 수기항목 (수준포함)을 제시하였는가? O
양 병원 성과/증상/수기항목[임상실습지침서] 본원/양산병원의 임상실습 과정성과 /구체적 증상/ 수기항목을 동일하게 표준화하였는가? O
실습 담당 교수와 전공의 조사 직급별 실습 교수 조사 Input 인력 임상실습 담당교수와 전공의는 교육전문성이 있는가? O O
임상실습 관련 예산 조사 예산 임상실습 교육과정 예산이 적절하며 효율적으로 사용하였는가? O
전략 교육과정의 설계원칙인 SyMBIOSIS를 준수하였는가? O O
성찰 활동 등 평생학습 준비 조사 평생학습을 준비할 수 있도록 하였는가? O O
평등원칙 준수 여부 평등원칙을 준수하였는가? O O
병원별 실습 시간 Process 실습교육과정 다양한 1,2차병원에서 이루어지는가? O
일차 진료가 가능한 실습교육이 이루어지는가? O O
사례 제시 과학적 방법/의학연구/근거중심의학을 교육하는가? O O
사례 제시 현재와 미래의 의료 환경변화에 맞추고 있는가? O O
환자안전에 대한 지침 [임상실습지침서]
환자안전 실행에 대한 포커스그룹인터뷰 (학생)
지침서와 실제 실습에서 환자안전을 강조하고 있는가? O O
임상실습 일정에 대한 의견 제시 임상실습 일정은 적절한가? O O
실습 방법 실습방법과 운영 실제진료에 참여하는 등 의사의 업무를 익힐 수 있도록 능동적인 실습방법으로 구성되어 있는가? O O
환자진료 참여와 피드백 정도 환자진료 참여를 모니터링하고 피드백 하는 실습과정을 운영하고 있는가? O O
실습 변동률 임상실습지침서대로 실습이 시행되는가? O O
평가방법 [임상실습지침서, 성적사정회의자료] 학생평가 지식, 술기, 태도를 포함하는 다양한 평가방법을 사용하고 있는가? O
평가방법 [임상실습지침서, 성적사정회의자료] 필기시험은 10(20)% 이내로 반영하는가? O
평가방법 [임상실습지침서, 성적사정회의자료] 성과에 맞는 방법으로 평가하고 있는가? O
성적입력 시기와 피드백 방법 온라인 성적입력 모니터링 임상실습 성적은 2주 이내로 공개하는가? 코멘트를 기록하는가? 1:1면담 또는 이메일로 피드백을 제공하는가? O O
이의제기 사례 이의제기 사례에 대한 포커그그룹인터뷰 (학생) 임상실습 평가결과에 이의를 제기할 수 있도록 하는가? O O
학생평가 [성적사정회의자료] 본원/양산병원의 임상실습 학생평가를 동일하게 표준화하였는가? O
임상실습 과정성과 달성도,
구체적 증상/ 수기경험 횟수와 달성도 자기평가
임상실습 성적 [성적사정회의 자료] Product 과정성과 달성도 학생들은 임상실습 과정성과에 도달하였는가?
(도달하지 못한 항목이 있는가? 그 이유는 무엇인가?)
O O
임상실습평가 (학생) 교육만족도 교육만족도는 어떠한가? O O
CIPP, context-input-process-product.
부록 2.

시기·졸업 평가준거와 평가지표: 모니터링-평가-개선 단계에서의 활용

구분 시기·졸업 모니터링 시기·졸업 평가 시기졸업 개선
주체 의학교육지원실, (행정실) 의학교육학교실 교육과정위원회 학습성과위원회 학생지도위원회 입학전형위원회 학장단
시기 입학, 과정별, 학년말, 졸업 전후 학년말 학년말 이후
항목 모니터링 평가지표 (대상) CIPP 평가항목 평가준거 개선항목
내용 사명, 목표, 졸업성과 타당도 설문 (모든 이해관계자) Context 사명/목표/졸업성과 지역사회와 의료환경 변화를 고려했을 때 사명, 교육목적과 목표, 졸업성과는 적절한가? O
지역사회 교육만족도 (사회적 책무성) 설문 (지역사회)
지역사회와 의료환경 변화조사
사회적 책무성 지역사회 의견과 의료환경 변화에 맞추어 교육과정을 수정보완하고 있는가? O
학습환경과 문화 설문(학생) 환경/문화 학습 환경과 문화는 어떠한가? (환경과 문화 포함, 교외활동 및 동아리 활동, 상담) O
직급별 수업 & 실습 교수 조사a) Input 인력 수업 & 실습 교수는 전문성이 있는가? O
학생교육관련 직접 비용 조사a) 예산 1인당연간 등록금 대비 학생교육관련 직접 비용이 적절한가? O
교육과정의 원리와 원칙 실행 여부 조사a) 전략 교육과정의 원리와 원칙에 근거하였는가? O
평생학습 준비 과정 조사a) 평생학습을 준비할 수 있도록 하였는가? O
평등원칙 준수 여부a) 평등원칙을 준수하였는가? O
교육기본시설 시설만족도 설문 (학생) 시설 교육기본시설(강의실, 실험실습실, 임상수기실습실)을 적절하게 갖추고 있는가? O O
교육지원시설 시설만족도 설문 (학생) 교육지원시설(소그룹 토의실, 연구실험실, 도서관, 멀티미디어실, 자율학습실)을 적절하게 갖추고 있는가? O O
학생 복지시설 시설만족도 설문 (학생) 학생복지시설(학생회방, 동아리방, 휴게실) 및 편의시설(운동시설, 식당, 매점, 자동판매기, 사물함)을 적절하게 갖추고 있는가? O O
교육병원 내 임상실습시설 시설만족도 설문 (학생) 교육병원내 충분한 임상실습시설을 확보하고 있는가? O
기초의학, 의료인문학, 임상의학 학점과 시수 조사 Process 교육과정(구조/구성/기간) 기초의학, 의료인문학,임상의학 간에 조화를 이루고 있는가? (내용, 범위, 순서, 기간) O
과정 내 기초의학, 의료인문학, 임상의학 시수 조사a) 기초의학,의료인문학,임상의학이수직통합이되어있는가? O
과정 내 과학적 방법의 원칙/의학연구방법/근거중심의학 시수a) 과학적방법의 원칙/의학연구방법/근거중심의학을 교육하는가? O
선택과목 운영 조사 선택과목을 운영하고 있는가?
필수과목과 선택과목이 적절히 균형을 유지하고 있는가?
O
연간 수업시수와 임상실습 교육기간 조사 연간 수업시수와 임상실습 교육기간은 적절한가? O
과정순서에 대한 포커스그룹인터뷰 (학생) 과정의 순서는 적절한가? O
임상실습 순환과 표준화에 대한 설문, 포커스그룹인터뷰 (학생)
임상실습 성적사정회의자료
양쪽 병원의 임상실습 순환은 적절하고 평가방법은 표준화되어 있는가? O
교수학습방법 조사a) 교수학습방법 다양한 교수학습방법을 사용하고 있는가? (능동적인 수업/실습 방법) O
학습성과와 수업방법 매칭 성과에 맞는 방법으로 수업하는가? O
평가방법 조사a) 학생평가 다양한 평가방법을 사용하고 있는가? O
학습성과와 평가방법 매칭 성과에 맞는 방법으로 평가하는가? O
지식, 술기, 태도가 평가에 포함되어 있는지 조사 지식,술기, 태도 모든 영역을 포함하고 있는가?) O
시기별 총괄평가 조사, 과정별 총괄평가 조사a) 의도한 교육성과에 도달할 수 있도록 평가하고 있는가? (총괄평가) O
형성평가 조사a) 학습을 증진시킬 수 있도록 평가하는가? (형성평가) O
형성평가와 총괄평가 횟수와 균형 조사a) 형성평가와 총괄평가를 균형 있게 시행하는가? O
피드백 조사a) 적절한 피드백을 제공하는가? O
시험횟수와 유형 조사a) 시험횟수와 유형은 적절한가? O
이의제기 절차와 실행 여부 포커스그룹 인터뷰(학생) 평가결과에 이의를 제기한 경우 절차에 따라 해결하였는가? O
운영만족도 설문(학생, 교수, 동창회/외래교수, 지역사회) 학교운영 학교 운영 만족도는 적절한가? O
향상정도: 기초종합평가, 임상종합평가, 실기시험 점수,역량별 지표점수 Product 단기 학생의 향상 정도는 적절한가? O
성과 도달도: 과정성적,시기종합평가성적, 역량별 지표점수, 자기평가 설문 (학생) 학습성과 달성도는 적절한가? O O
도달하지 못한 학습성과와 학업성취 낮은 학생에 대한 면담 기록 도달하지 못한 학습성과가 있는 이유는 무엇인가? (낮은 학업성취 학생 또는 유급자 관리를 적절하게 시행하고 있는가?) O O O
진급, 낙제, 중도탈락 비율 진급, 낙제, 중도탈락 비율은 적절한가? O
교육만족도 설문(교육자, 학생) 교육만족도는 적절한가? O O
의사국가시험 합격률 조사 장기 의사국가시험 합격률은 적절한가?
진로 조사 다양한 진로로 진출하였는가? O
사회적 책무 설문, 교육프로그램 조사 사회적 책무와 관련된 교육, 연구, 진료를 수행하였는가? O
졸업성과별 수행능력 지표 수집 코호트 재학생 졸업성과별 수행능력은 지속적으로 향상하는가? O
입학자료(행정실에서 취합) 입학요소와 수행능력은 관련이 있는가? O
교육과정과 투입자원(의전원/의대), 학습상황(정신건강, 성격유형, 심리상태) 교육과정, 투입자원, 학습상황에 따른 수행능력은 차이가 있는가? O
진급, 낙제, 중도탈락 비율 진급, 낙제, 중도탈락 비율은 적절한가? O
학습부진/유급자 면담 기록,정신건강검사(성격유형, 심리상태) 유급생(제적생)에 대하여 파악하여 대처하고 있는가? O
의사국가고시 합격률 조사 졸업생 의사국가고시 결과는 적절한가? O
진로 조사 다양한 진로로 진출하였는가? O
졸업후 역량 조사(교육자, 학생) 졸업 후 역량은 의과대학 성적과 상관이 있는가? O
*과정 모니터링 보고서 취합


Editorial Office
Yonsei University College of Medicine, 50-1 Yonsei-ro, Seodaemun-gu, Seoul 03722, Korea
Tel: +82-2-2228-2514   Fax: +82-2-364-5450   E-mail: kmer@yuhs.ac                

Copyright © 2024 by Yonsei University College of Medicine.

Developed in M2PI