Korean Med Educ Rev > Volume 24(2); 2022 > Article
문제기반학습 교육과정 개편에 따른 과정 만족도 및 학생평가 결과 비교 분석 연구

Abstract

The purpose of this study was to redesign a problem-based learning (PBL) curriculum and compare the differences between the previous and redesigned PBL based on the results of course satisfaction and student assessments. The PBL was redesigned using curriculum design guidelines (including revisions of curriculum objectives, learning components, learning environments, and assessment methods) that were developed based on previous studies and evaluation results. A comparative study was employed using course satisfaction surveys from the previous and redesigned curricula, and a total of 45 students participated. We also compared student assessment results from concept mapping, learning issue reports, modified essay questions, and reflection journals. We identified four key findings. First, we explored the possibility that the redesigned PBL could be implemented by student facilitators without professors as tutors. Second, the redesigned PBL fostered group dynamics that facilitated developing communication skills and collaborative learning through small-group discussions. Third, the new learning elements added in the redesigned PBL made a meaningful contribution to enhancing students’ clinical reasoning based on hypothetico-deductive reasoning. Fourth, concept maps in redesigned PBL contained more complex and various nodes and connections, and the levels of the nodes were more appropriate. The implications of this study can provide meaningful preliminary information for redesigning PBL curricula for medical students to develop their essential competencies through PBL.

서 론

캐나다 McMaster 의과대학에서 처음 도입한 문제기반학습(problem-based learning, PBL)은 전 세계적으로 많은 의과대학에서 활용하고 있는 학습방법으로, 실제 임상문제를 기반으로 하여 학생 스스로 학습목표를 세우고 주어진 과정에 따라 학생 간 토론을 통해 문제를 해결하는 능력을 향상시킬 수 있도록 구성되어 있다[1,2]. 의과대학에서의 일반적인 교육과는 다르게 소그룹 토론을 기반으로 하는 학습자 중심의 수업으로, 튜터의 도움을 받지만 과정의 시작이 되는 문제인식을 비롯하여 문제를 해결하는 모든 과정을 학생들이 이끌어 나가야 하는 능동적인 학습방법을 사용하는 것이 PBL의 특징이라 할 수 있다[1,3]. 이를 위해 학생들은 자기주도적 학습을 통해 자신과 자신이 속해 있는 조의 학습에 책임을 다해야 하며, 제시되는 문제를 해결하기 위해 자유롭게 토론하고 질문할 수 있어야 하고, 학습은 기초의학과 임상의학을 포함하는 모든 과목 및 학문에서 통합적으로 이뤄져야 하며, 의미 있는 토론을 위해 동료와의 협력과 원활한 의사소통을 필수적으로 한다[1,4]. 여러 선행연구에서 볼 수 있듯이 PBL은 실제적으로(real-world context) 복잡하고(complex) 비구조적인(ill-structured) 상황에서의 문제해결을 위한 의사결정능력 및 판단력 등의 고차원적 사고능력을 바탕으로 임상추론능력 개발, 자기주도적 학습능력 개발, 정보검색 능력 개발, 의사소통기술 및 협력학습능력 개발 등에 긍정적 영향을 주는 것으로 보고되고 있다[2-8]. 또한 PBL을 통해 학생들이 지식을 실제 상황에 쉽게 연결할 수 있고, 지식전달을 중심으로 하는 학습보다 학습내용 및 절차가 장기기억에 오래 남으며, 논리적인 사고와 판단을 훈련할 수 있는 큰 장점이 있다고 알려져 있다[9-13]. 의과대학에서는 PBL을 통해 학생들의 기초의학지식과 임상의학지식을 통합할 수 있는 능력을 개발하는 데 활용할 수 있으며[2], 급속하게 늘어가고 있는 의학지식을 효과적으로 평생 학습할 수 있도록 자기주도적 학습능력을 촉진하는 데에도 중요한 의의를 가질 수 있다[2,7]. 뿐만 아니라 환자의 입장을 공감하고 타 학문분야(interdisciplinary) 및 비 의료인(inter-professional)과 소통하고 협력할 수 있는 능력을 기르는 데에도 중요한 역할을 할 수 있다. 이러한 학습효과를 받아들여 한국에서는 1990년대 후반부터 일부 대학에서 PBL을 운영하기 시작하였고[14], 현재는 대부분의 대학에서 시행하고 있다[15].
다만, 이러한 장점에도 불구하고 실제 학습과정에서는 PBL의 기본 원칙이 잘 지켜지지 않고 있으며, 지식 습득, 문제해결능력, 자기주도적 학습능력, 그룹 안에서의 사회적 절차 습득 등의 PBL 효과에 대한 의문이 여전히 남아있다[16]. PBL 모듈을 진행하는 동안 학생들이 기초의학과 임상의학을 통합적으로 연결하지 못하고 임상적 지식을 단순 적용하거나 진단에만 초점을 맞추어 문제를 해결해 나가는 등 임상추론능력을 훈련할 기회를 놓치고 있다[17-20]. 학생의 토론을 돕는 튜터 역할을 담당할 교수의 섭외와 교육이 점점 어려워지고 있으며, 튜터의 역할 수행 정도에 따라 학생 조별 토론의 격차가 쉽게 발생할 수 있어 적극적 개입과 소극적 관여 사이에서 어려움을 겪기도 한다[6,16,21,22]. 뿐만 아니라 평가항목 및 기준이 불명확하여 교수와 학생 모두가 어려움을 겪는 등 도입 초기에 지적되었던 PBL의 문제점이 여전히 나타나고 있는 상황에 있다[23,24]. 아직도 일부 대학에서는 PBL을 위한 다수의 소규모 토의실이 부족하고, 충분한 수의 교과서와 관련 자료, 논문 등을 갖춘 도서관 시설 혹은 온라인시스템이 취약하며, 문화적 차이로 인한 학생 토론 진행이 어렵고, 양질의 토론 진행을 위한 튜터 교수 확보에 재정적 부담 및 운영의 부담을 가지고 있어 점차 PBL의 운영을 축소하는 대학도 늘어나기 시작했다[6,10,16,25,,26]. 또한 앞서 언급한 여러 문제들로 인해 PBL의 교육적 효과가 실질적으로 크지 않고, PBL 과정을 진행하는 동안 학생의 수동적인 태도로 인해 자기주도적 학습효과가 낮아지며, PBL로 모든 지식을 충분히 습득하지 못할 것이라 고민하는 학생들의 불만도 늘어나는 상황에 처해 있다[6,10,13,22]. 대학 수업에 참여하면서도 대부분 강의식 수업과 암기식 지식 습득에 익숙한 한국 의과대학생들의 문화적 상황에 의해 조별 토론 시 의사소통에 어려움을 겪거나 협력학습에 대한 불만족을 경험하는 상황도 존재한다[6,16,18].
따라서 PBL의 중요한 목표로 정의되었던 기초의학과 임상의학의 통합적 구조화, 근거에 기반을 둔 임상추론능력 훈련, 자기주도적 학습능력 증진, 소그룹 학습을 통한 의사소통능력 및 협력학습 향상 등이 실제 교육현장에서 얼마나 잘 진행되고 있는지를 평가하는 것은 중요한 의미를 가진다. 또한 그동안 여러 연구결과에 따라 학생의 자기주도적 학습 정도와 문제 구성 정도에 따른 다양한 PBL 모델이 개발되어지고 실행되어져 왔음에도 불구하고[16], 문제점 파악 및 평가결과에 따른 큰 개선 없이 PBL 방법의 도입 이후 유사하게 진행되어 왔던 학습절차 및 모듈 구성요소를 개편하고 이를 평가하는 것도 필요하다. 이 연구의 목적은 일개 의과대학에서의 PBL 교육과정의 목표로 제시된 항목과 실질적 운영에 어려움을 겪는 요인들을 분석하여 교육과정 개편을 위한 과정 설계지침을 마련하고, 이에 따른 교육과정 및 모듈 구성을 개편한 후 기존 방식의 PBL 교육과정과 개편 PBL 교육과정을 순차적으로 진행하여 과정 만족도 및 학생평가 결과 차이를 확인하고 비교하는 데 있다.

연구대상 및 방법

1. 개편 문제기반학습 교육과정 평가를 위한 연구대상 및 방법

1) 연구대상

고신대학교 의과대학 의학과 2학년 72명을 대상으로 한 PBL II 과정에서 기존 PBL과 개편 PBL 모듈을 순차적으로 진행하였다. 연구대상이 되는 의학과 2학년은 의학과 1학년 1학기와 2학기 두 학기에 걸쳐 진행한 임상추론 I과 PBL I 과정을 통해 기존 방식의 PBL을 사전에 경험하였으며, 동일한 운영방식에 따라 진행된 모듈을 통해 컨셉맵 작성, 학습과제 선정, 토론 진행 및 평가 등 PBL 과정 전반에 익숙한 학생들을 대상으로 하였다. 개편 PBL 모듈은 연구대상 전원이 이번에 처음 경험하는 구성으로 전체 과정 진행 전 연구대상에게 이를 안내하고 과정을 진행하였다. 과정 만족도 비교를 위해서 총 72명의 수업 참여 학생 중 66명(91.7%)이 설문에 참여하였으며, 설문 답변을 끝까지 작성하지 않았거나 불성실한 응답을 한 학생을 제외한 45명(62.5%)을 연구대상으로 하였다. 학생평가 결과 비교를 위해서 과정 종료 후 컨셉맵 작성 평가결과, 학습문제 조사보고서 평가결과, modified essay question (MEQ) 평가결과, 성찰일지 평가결과를 사용하였으며, 수업에 참여한 72명 전원(100.0%)을 연구대상으로 하였다.

2) 연구방법

(1) 연구설계

기존 PBL 방식으로 구성한 첫 번째 모듈은 총 3일간 진행하였으며, ‘고혈압’ 임상표현으로 개발한 PBL 증례를 바탕으로 환자의 주 증상, 현 병력, 신체진찰 결과, 검사결과, 치료 경과 등에 대한 자료를 순차적으로 학생들에게 제공하고, 9–10명으로 구성한 학생그룹은 튜터 역할을 맡은 교수자가 입실한 상태에서 제시한 자료를 바탕으로 문제해결을 위한 토론을 진행하였다. 이후 컨셉맵 작성, 학습문제 조사 및 논의 등의 자기주도적 학습활동은 학생그룹 자체적으로 진행하도록 하였다. 튜터 역할 수행을 위해 참여교수는 교내 튜터 교육 워크숍을 통해 PBL의 이해, 튜터의 역할 등에 대해 학습한 후 PBL 진행과정을 직접 경험할 수 있도록 간이 PBL에 참여하고 있다. 튜터 교수로 참여하기 위해서는 튜터 교육 워크숍을 반드시 수료해야 하며, 3일간 진행하는 모듈 하나에 전부 참석할 수 있어야 한다는 자체 규정을 가지고 과정을 운영하였다.
개편 PBL 방식으로 구성한 두 번째, 세 번째 모듈 역시 각각 3일간 진행하였으며, 두 번째 모듈은 ‘발열/부기’ 임상표현으로, 세 번째 모듈은 ‘쉽게 멍이 듦’ 임상표현으로 개발한 PBL 증례를 바탕으로 튜터 역할을 맡은 교수자 없이 학생 퍼실리테이터(facilitator)가 전체 학습활동을 진행하였다. PBL 과정 시작 1주 전 학생 자율적으로 각 조당 2명의 학생 퍼실리테이터를 선정하고, 퍼실리테이터 교육을 위한 사전 모임 후 PBL에 참여하였다. 퍼실리테이터 지침을 마련하여 PBL의 개념, 퍼실리테이터의 역할, PBL의 구성 및 진행, 컨셉맵 작성방법, 가설연역적 추론(hypothetico-deductive reasoning) 과정을 위한 예시 질문목록 등을 학습할 수 있도록 하고, PBL 과정 진행 중 책임교수와 의사소통이 원활하게 이루어질 수 있도록 모바일 채팅방을 개설하였다. 모듈 구성에 있어 기존 방식으로 진행했던 첫 번째 모듈과는 다르게, 첫째 날은 환자의 주 증상 자료만 제공하고 기초 및 임상의학의 통합적 구조화 능력을 향상시키기 위한 컨셉맵을 작성한 후 임상추론능력 개발을 위한 병력청취 질문목록 및 신체진찰 항목을 선정하여 제출하도록 과정 구성을 변경하였다. 둘째 날 과정 책임교수는 각 조가 제출한 병력청취 질문목록 및 신체진찰 항목에 따라 해당하는 자료만을 제공하였고, 이후 학생들은 환자의 현 병력, 신체진찰 결과, 검사결과 등의 자료를 통해 문제해결을 위한 토론을 진행하였다. 유사한 방법으로 추가검사항목을 제출하게 하고, 셋째 날에 해당하는 추가검사 결과, 진단결과, 경과 자료 등을 제공하여 이를 바탕으로 문제해결을 위한 토론을 진행하였다. 기존에 진행했던 문제바탕학습 진행방식과 개편 문제바탕학습 진행방식을 비교한 내용은 다음과 같다(Table 1).
Table 1.

Comparison of the previous and redesigned problem-based learning curricula

Previous PBL module Redesigned PBL module
Day 1 content Clinical presentation, medical history, physical examination findings Clinical presentation, list of history taking, list of physical examination
Day 2 content Lab results, additional lab results Medical history, physical examination findings, lab results, hypothesis generation, list of additional lab tests
Day 3 content Diagnosis result, treatment progress Diagnosis and treatment, patient education, treatment plans
Tutor Professor Student facilitator
Module feedback Mini-lecture Feedback of concept mapping
PBL, problem-based learning.

(2) 연구방법

고신대학교 의과대학 PBL 과정에서는 매 과정 종료 후 만족도 조사 및 과정 개선을 위한 과정 평가 설문을 실시하고 있으며, 이에 따라 2021학년도 1학기 PBL II 과정의 각 모듈을 마친 시점에서 PBL 과정의 전반적 학생 만족도와 과정 개선을 위한 피드백 수집을 위해 설문조사를 실시하였다. 설문은 기존 방식으로 진행한 첫 번째 모듈과 개편방식으로 진행한 세 번째 모듈을 비교하기 위한 문항으로 새롭게 구성하고, 모듈에 대한 전반적인 만족도(7문항), 학습내용에 대한 만족도(기존 모듈: 18문항, 개편 모듈: 13문항), 튜터 교수 및 학생 퍼실리테이터에 대한 만족도(6문항), 평가에 대한 만족도(기존 모듈: 4문항, 개편 모듈: 5문항, MEQ 포함), 학습성과 달성을 위한 모듈 도움 여부에 대한 설문 문항(5문항)을 5점 척도(Likert scale)로 질문하였다. 각 모듈에서 경험한 학습내용 중 과정 개선을 위한 의견을 받기 위해 서술형 문항을 추가하였다. 개발한 설문 문항은 1명의 임상교수와 1명의 교육학 전공교수에 의해 모든 문항이 PBL 과정의 전체 내용을 대표하고 있는지에 대한 타당성을 검증 받았으며, 설문지에 대한 내적 신뢰도는 매우 높게 나타났다(기존 모듈: Cronbach α=0.973, 개편 모듈: Cronbach α=0.971). 설문 각 영역에 대한 내적 신뢰도는 다음과 같다(Table 2).
Table 2.

Reliability and composition of survey items

Survey item Previous module Redesigned module
No. of questions Cronbach α No. of questions Cronbach α
Overall satisfaction with PBL 7 0.739 7 0.776
Satisfaction with learning content 18 0.968 13 0.961
Satisfaction with a tutor (professor) and student facilitator 6 0.938 6 0.959
Satisfaction with assessment methods 4 0.783 5 0.812
Satisfaction with developing competencies 5 0.928 5 0.947
PBL, problem-based learning.

3) 자료수집 및 분석

기존 PBL과 개편 PBL의 과정 만족도를 비교하기 위해 과정 참여학생을 대상으로 하는 평가설문지는 2021년 6월 기존 방식 모듈과 개편 방식 모듈을 각각 마친 후 개별적으로 배포되었으며, Qualtrics를 통한 온라인 설문으로 진행하였다. 수업 중 설문 작성을 할 경우 학생들은 연구 참여가 성적에 영향을 미칠 수 있다고 판단해 임의적으로 높은 점수를 부여하거나 정직하지 않은 답변을 제출할 가능성이 있어 이를 방지하기 위해 각 모듈 종료 후 설문을 배포하였으며, 응답한 내용은 개별적으로 관리하거나 분석하지 않고 무기명으로 정보를 수집하여 수업을 개선하기 위한 목적으로 사용될 예정임을 알려 동의하는 학생에 한해 설문에 참여할 수 있도록 안내하였다. 또한 기존 PBL과 개편 PBL의 학생평가 결과를 비교하기 위해 각 모듈에서 학생들이 제출한 학습 결과물을 수집하고, 컨셉맵 평가결과, 학습문제 조사보고서 평가결과, MEQ 평가결과, 성찰일지 평가결과를 비교, 분석하였다.
수집한 설문결과 분석을 위해 설문 응답을 완료하지 않았거나 불성실하게 응답한 일부 인원을 제외하는 자료 정리과정을 거쳤으며, 정리된 설문결과는 IBM SPSS ver. 26.0 (IBM Corp., Armonk, NY, USA)을 사용하여 기술통계 및 두 종속표본 t검정으로 분석하였다. 학습 결과물 분석은 컨셉맵 평가결과, 학습문제 조사보고서 평가결과를 바탕으로 하는 조별 평균 비교와 MEQ 평가결과, 성찰일지 평가결과를 바탕으로 하는 개인별 평균 비교를 통해 IBM SPSS ver. 26.0 (IBM Corp.)을 사용하여 기술통계 및 두 종속 표본 t검정으로 두 모듈 간의 차이를 분석하였다.

4) 윤리적 고려

연구대상자의 정보보호와 설문 응답에 의한 성적결과에 미치는 영향을 최소화하기 위해 무기명으로 개발한 설문을 통해 온라인으로 진행하였으며, 과정 평가 및 연구목적 이외에 다른 용도로 사용되지 않음을 학생들에게 설명하고 설문에 참여한 학생들만을 대상으로 얻어진 설문결과를 후향적으로 사용하여 연구를 진행하였다. 학습활동 평가결과 역시 개인별 정보보호를 위해 개인 평가결과의 경우 사전에 코딩한 고유번호에 따른 결과만을 사용하였으며, 학생들에게 동의를 받는 경우 오히려 개인정보가 노출될 수 있다는 점을 바탕으로 고신대학교 복음병원 연구심의위원회를 통해 동의면제 심의결과를 받아 연구를 진행하였다(승인번호 KUGH 2021-11-003).

2. 문제기반학습 교육과정 개편을 위한 과정 설계지침 개발

고신대학교 의과대학 교육기획평가센터는 PBL 교육과정 개편을 위해 의학교육학교실 전임 및 겸임교수, PBL 과정 책임교수를 포함하는 위원회를 구성하여 과정의 문제점을 인식하고 기존 과정 평가결과를 바탕으로 이를 개선하기 위한 과정 설계지침을 개발하였다. 2021년 3월부터 6월까지 PBL 교육과정 개편을 위한 임시 위원회를 격주로 개최하고, 논의를 통해 PBL의 불분명한 목적성, 튜터 질 관리 및 수급의 어려움, 자기주도적 학습을 통한 문제해결이 아닌 주어진 과제를 배분하여 수행하는 데 그치는 학습방법, 튜터 평가의 객관성 및 일관성 부족 등의 문제점을 인식하였다. 뿐만 아니라 튜터의 개입 정도가 조별로 달라 토론 진행 및 결과 도출에 부정적인 영향을 미치고 있고, 인터넷 및 논문검색 등 학생의 학습도구를 어디까지 제한해야 할 것인지에 대한 일관성이 부족하여 과정 평가설문을 통한 학생들의 불만이 꾸준히 제기되어 왔으며, 튜터를 통한 평가결과의 신뢰성이 떨어져 PBL 자체에 대한 학습 효과성이 지속적으로 하락하는 등 여러 문제를 안고 있었다. 따라서 기존 PBL 과정 운영에 있어 문제점으로 지적되었던 부분을 개선하기 위해 과정목표 설정, 운영방식 개선, 학습환경 개선, 평가방법 개선 등 네 가지 항목을 선정하고(Table 3), 교육과정 개편을 위한 과정 설계지침을 개발하였다.
Table 3.

Design guidelines based on the identified difficulties and their solutions for PBL curriculum revision

Section Difficulties/obstacles Solutions
PBL course objectives Learning processes focused only on searching for hints and finding the final answer Revise PBL modules based on hypothetico-deductive reasoning processes and use concept mapping to synthesize knowledge
Well-structured problems and all information provided in student materials, discouraging self-directed learning Provide loosely-structured problems and only minimal information in student materials
Provide various textbooks of preclinical medicine and open all internet searches for students
Students’ passive attitudes in discussions Provide authentic experiences through student discussions without professors to learn how to communicate and work together
PBL scenarios focusing only on one clinical presentation, giving students obvious hints about the diagnosis Develop PBL scenarios including both preclinical and clinical medicine to have integrated knowledge, as well as medical humanities to foster social accountability and medical professionalism
Operation methods Tutor availability, tutor training, students’ dependency on tutors Assign student facilitators as leaders instead of tutors (professors)
Assign the chief professor as observer and evaluator
Student’s guesses regarding the diagnosis based on the chief complaint and cues instead of clinical reasoning Revise PBL modules based on hypothetico-deductive reasoning processes including inquiries from history-taking and physical examinations and use concept mapping to synthesize knowledge
Learning environments Breakout rooms for group discussion (physical environment) Operate online PBL through the Zoom platform with breakout rooms
Group composition and group dynamics Assign students to each group randomly and keep the same group members for entire modules
Books and journal articles (learning materials) Provide textbooks of preclinical medicine and allow students to use e-books and electronic journals through the online library
Paper learning materials Provide PDF files with passwords through the learning management system
Assessment methods Reliability of tutor evaluations Remove tutor evaluations
Composition and percentage of each evaluation tool Change from individual scores to group scores
Adjust percentages applied to final scores of each evaluation tool
Unfairness of evaluation from group scores Add a modified essay question test at the end of each module
PBL, problem-based learning; PDF, portable document format.

1) 학습성과 달성을 위한 과정목표 설정

첫째, PBL을 통해 가설연역적 추론능력(hypothetico-deductive reasoning)을 향상시킬 수 있도록 단편적인 지식을 나열하거나 암기하는 것을 지양하고 문제 인식, 가설 설정, 정보 획득 전략, 자료 분석, 진단 및 치료계획 등 임상추론 과정을 그대로 경험하게 하였으며[1], 컨셉맵 작성을 통해 기초의학을 포함한 임상의학적 지식을 구조화시킬 수 있는 능력을 개발할 수 있도록 하였다. 학생들이 시험문제의 정답을 찾는 것처럼 진단에만 초점을 맞추어 문제의 답을 찾아 나가지 않도록 하여 PBL의 학습효과를 증대시키고, 전문가의 패턴인식(pattern recognition)적인 접근을 지양하고 문제를 해결하는 데 필요한 다양한 기전적 사고를 바탕으로 근거에 의한 추론과정을 촉진할 수 있게 하였다.
둘째, 자기주도적 학습능력을 극대화 할 수 있도록 하였다. PBL에 있어 가장 중요한 핵심 역량 중 하나인 자기주도적 학습을 향상시키기 위해 학습 모듈(module)에서 학생들이 문제를 직접 찾아낼 수 있도록 메타인지능력을 기를 수 있도록 하였다. 또한 단순히 인터넷 검색을 허용하는 것이 아닌 각 기초 과목별 참고문헌 등을 사전에 제시하여 올바른 정보탐색 및 활용능력을 개발할 수 있도록 하였다.
셋째, 의사소통 및 협동능력을 학습할 수 있도록 하였다. PBL의 기본 진행방식은 학생들의 토론으로 이루어지며, 이를 통해 타인에 대한 이해, 협동능력, 의사소통능력을 개발할 수 있도록 하였다. 학생 간 서로 다른 관점을 존중하고 의학의 불확실성을 이해하며 조율할 수 있는 능력을 개발할 수 있도록 하였다.
넷째, 모듈 개발에 있어 의료인문학, 기초의학, 임상의학의 통합적 적용을 원칙으로 하였다. 사회적 책무성 및 전문직업성(medical professionalism)을 함양하고 올바른 윤리적 관점을 포함할 수 있도록 의료인문학적인 내용을 추가할 수 있도록 하였다. 또한 해부학, 생리학을 포함한 기초의학을 기반으로 하는 기전적 사고를 촉진하여 통합적인 문제해결력을 향상시킬 수 있도록 하였다.

2) 문제기반학습 운영방식 개선

현재 고신대학교 의과대학에서는 의예과 2학년, 의학과 1학년, 2학년을 대상으로 임상추론 I, PBL I, II, III 교육과정에서 PBL을 활용한 학습방법을 적용하고 있으며, 신장요로계-내분비학 통합과정에서 진행하는 PBL Ⅰ을 제외하고는 PBL 블록 방식으로 각 과정을 2주간 운영하고 있다. 교육과정 전체를 PBL로 전환하지 않는 한 동시에 진행되는 타 과정의 기간 및 일정에 영향을 줄 수 있는 점을 고려해서 현 PBL 교육과정의 시기는 수정 없이 진행하는 것으로 결정하였다. 기초의학시기에 진행되는 임상추론 I의 경우 의학과 1학년 1학기 말에 3개의 모듈을 블록으로 진행하며, 임상의학시기에 진행되는 신장-내분비 통합과정 내 PBL I의 경우 의학과 1학년 2학기 과정 초에 1개의 모듈로 진행한다. 각각 3개의 모듈을 의학과 2학년 1학기 말에 블록으로 진행하는 PBL II와 의학과 2학년 2학기 말에 블록으로 진행하는 PBL III로 전체 교육과정을 유지하였다. 모듈 내용의 경우 임상추론 I은 기초의학을 기반으로 하여 임상의학과 통합된 시나리오를 구성하였으며, 일부 기초의학교수가 모듈 개발교수로 참여하였다. PBL II에서는 임상의학시기인 의학과 1학년 2학기로부터 2학년 1학기까지 다루는 과정을 포함하여 모듈을 구성하기로 하고, PBL III에서는 의학과 1학년 2학기로부터 2학년 2학기까지 다룬 모든 과정을 포함하는 누적형 모듈로 구성하였다.
기존 PBL의 문제점으로 드러났던 교수 간 튜터링 차이 발생, 튜터(tutor) 모집의 어려움, 튜터 평가의 어려움, 튜터의 학생평가 일관성 부재, 참여교수의 외래 일정 및 기타 문제로 인한 튜터 교육의 어려움, 학생의 튜터 의존성 심화 등을 극복하기 위해 기존 방식을 개선하고 PBL에의 학생 학습동기를 더 많이 유발하기 위해 튜터 운영방법을 변경하는 것으로 결정하였다. 튜터의 다양한 역할인 퍼실리테이터, 인솔자(leader), 관찰자(observer), 평가자(evaluator) 중 퍼실리테이터와 인솔자의 역할을 튜터의 기본 방향으로 설정하고, 튜터 교수 대신 학생 퍼실리테이터를 훈련하여 토론을 진행할 수 있도록 과정을 개선하였다. 또한 튜터 역할 중 관찰자와 평가자의 역할을 PBL 교육과정 책임교수가 담당하여 튜터 교수의 부재를 해결할 수 있도록 하였다. 아울러 주어진 정보만으로 진단명을 추측하고 근거 없이 정답을 맞춰 나가는 학습태도에 대한 대안으로 주소(chief compliant)만 간략히 제시한 후 관련 기초의학적 지식을 바탕으로 하는 기전적 사고를 우선적으로 할 수 있도록 컨셉맵 과제를 변경하였다. 이후 병력청취, 신체진찰, 검사결과 자료 등을 학생에게 일괄적으로 제공하지 않고, 각각의 병력청취 질문목록 및 신체진찰 항목을 조별로 제출하도록 한 후 해당하는 정보 및 자료만을 제공하였다. 이와 같이 PBL 모듈 구성요소를 개선하기 위해, 앞서 설정한 학습성과 달성을 위한 과정목표에 따라 모듈을 진행할 수 있도록 재구성하였다. 개편 PBL 과정의 구성요소 및 일정은 다음과 같다(Table 4).
Table 4.

Components and schedules of the redesigned problem-based learning module

Time Day 1 Day 2 Day 3
Morning session Learning material 1: patient information/chief complaint (assignment 1: concept mapping) Learning issues presentation Learning issues presentation
Learning material 2: present illness/review of systems information Learning material 5: additional lab results
Learning material 3: physical examination findings Learning material 6: diagnosis
Learning material 7: progress information
Afternoon session Learning material 1: patient information/chief complaint (assignment 2: list of history taking; assignment 3: list of physical examination) Learning material 4: lab results Concept map feedback
Learning issues discussion Learning issues discussion Modified essay question (after module 3 finished)

3) 학습환경 개선

서론에서 언급한 것과 같이 효과적인 PBL을 진행하기 위해서는 다수의 소규모 토의실과 충분한 수의 교과서 및 관련 자료, 논문 등을 갖춘 도서관 시설 혹은 온라인 시스템 등 물리적 학습환경의 개선이 필수적이다. 다만, 현 시점에서 PBL을 위한 물리적 환경을 개선하는 것은 현실적인 어려움이 있었으며, 학생들의 학습을 최대한 도울 수 있도록 PBL의 운영방식을 개선하는 선에서 학습환경을 개선하려고 노력하였다. 우선적으로 물리적 공간 차이로 인한 조별 격차가 벌어지지 않고 모든 학생들이 동일한 조건에서 조별 토론을 할 수 있도록 온라인으로 조별 토론 및 PBL 활동을 진행하였다. 또한 조 구성에 있어 특정 조에 불필요한 쏠림 현상이 나타나지 않도록 성적 차이나 기타 조 구성방법을 통한 조 구성을 사용하지 않고, 공정성을 높이기 위해 무작위로 조를 구성하도록 하였다. 이와 동시에 조 내에서의 의사소통능력을 지속적으로 훈련하고 새로운 학습환경을 조성하기 위해 세 모듈을 진행하는 한 과정 내에서는 같은 조를 유지하고, 다음 과정에서는 새로 조를 구성하는 방법을 선택하였다.
학생들의 원활한 토론 진행을 지원하기 위해, 각 조마다 활용할 수 있는 기초의학 교재를 제공하고 교내 도서관을 통해 전자책(eBook) 역시 활용할 수 있도록 하여 인터넷 검색을 통한 불확실한 정보 획득 및 손쉬운 정보 획득을 지양하도록 하였다. 학생을 위한 학습자료는 기존 종이자료로 제공하던 것에서 교내 학습관리시스템인 WBI (Web-based instruction)을 통해 PDF 자료로 제공할 수 있도록 하여 자료에의 접근성을 높이도록 하였다. 이를 통해 PBL에 필요한 사전 자료 준비과정을 단축시킬 수 있었으며, 학생들에게 개별화된 자료를 적시에 제공할 수 있었다. 또한 책임교수 1명과 조교 1명만으로도 튜터 교수가 없는 각 조의 학생 퍼실리테이터에게 원활한 자료 전달 및 의사소통을 가능하게 하였다.

4) 평가방법 개선

기존 PBL 과정에 있어 가장 학생들의 불만이 많았던 평가방법을 개선하기 위해, PBL의 문제점으로 지적되었던 평가항목 및 기준의 명확성을 높일 수 있도록 튜터 평가를 포함한 일부 평가항목을 삭제하고 각 평가항목의 구성 및 반영비율을 수정하였다.
첫째, 컨셉맵 작성은 기존 1, 2일차 두 번에 걸쳐 작성하던 것에서 1일차에만 진행하는 것으로 변경하고, 환자의 주 증상에 따른 기전적 사고를 통해 컨셉맵을 작성할 수 있도록 주 목적을 변경하였다. 학생 개인별 평가가 아닌 조별 평가를 실시하였으며, 총 평가점수 중 30%를 반영하여 컨셉맵의 중요성을 강조하였다. 평가기준을 보다 명확하게 하기 위해 핵심 기전을 포함한 다양한 기전을 포함하였는지 여부와 노드(node) 연결의 체계성에 따른 평가기준 및 기초의학 과목 등에 따른 색 표현 등의 작성방법을 포함하는 평가 루브릭을 학생에게 제공하였으며, 다른 임상표현과 관련한 컨셉맵 예시를 사전에 설명함으로써 학생이 보다 쉽게 컨셉맵을 이해할 수 있도록 지원하였다.
둘째, 학습문제에 대한 조사를 포함하는 학생 보고서는 기존과 동일하게 1, 2일차에 진행하도록 하였으며, 개별적으로 평가하던 기존 방식과 다르게 조별로 평가하도록 하여 조별 토론결과에 따른 학습문제를 적절하게 도출하였는지에 중점을 두도록 평가기준을 변경하였다. 또한 개편 PBL에서는 병력청취 질문목록 및 신체진찰 항목을 조별로 제출하도록 하였고, 이를 포함한 보고서 평가 루브릭을 개발하고 학생들에게 제공하였다. 총 평가점수 중 25%를 반영하도록 하였으며, 해당 임상표현과의 연계성 및 소 주제의 다양성을 평가하고, 보고서 작성에 활용한 참고문헌에 대한 평가 역시 추가하였다.
셋째, 학습 모듈에 대한 성찰일지 평가를 위해 평가 루브릭을 사전에 개발하여 학생들에게 제공하였고, 모듈당 1번씩 작성한 성찰일지를 개별적으로 평가하고 총 평가점수 중 5%를 반영하도록 하였다.
넷째, 학습 준비도, 팀 활동 참여도 및 기여도, 의사소통 및 협동학습으로 구성된 동료평가는 모듈당 1번씩 진행하였으며, 개별적으로 평가하고 총 평가점수 중 10%를 반영하도록 하였다. 조원의 수행능력을 지적하거나 판단하기 위함이 아닌 조별 활동 및 학습활동의 참여를 독려하려는 동료평가의 목적을 학생 사전교육을 통해 분명하게 교육하고, 조원들의 담합이나 특정 인원에 대한 부정행위를 최대한 줄이기 위해 전체 팀원에게 동일한 점수를 부여할 수 없게 하며, 특정 팀원에게 사실과 다른 점수를 부여할 수 없도록 하였다[27]. 또한 학생이 동료평가점수 부여 시 각 팀원들의 기여 정도와 활동내용에 따라 솔직하고 정직하게 평가하였다는 문구에 서명하여 제출하게 함으로써 평가내용에 대한 책임감을 가질 수 있게 하였고, 책임교수는 채점 시 각 조원에 대한 최고점과 최저점을 제외한 나머지 결과를 반영하도록 하였다.
다섯째, 조별 수행능력 및 결과와 관계없이 개별학습으로 평가점수 획득이 가능할 수 있도록 모든 모듈을 마친 과정 마지막에 MEQ 평가를 실시하였다. 조별로 각기 다른 학습절차와 내용을 가질 수밖에 없는 PBL의 특성상 학생은 평가결과의 공정성에 대한 불만을 꾸준히 제기하여 왔고, 이에 대한 평가방법의 개선으로 추가적인 개별학습을 통해 평가를 받을 수 있는 지필고사를 추가하였다. MEQ는 총 평가점수 중 30%를 반영하도록 구성하였으며, 같은 임상표현으로부터 다른 진단명을 가지는 다른 증례를 활용하여 문제를 출제하였다.

결 과

1. 과정 만족도 설문 분석 결과

PBL 과정에 참여한 학생들에게 5점 척도로 개발한 설문 문항에 대한 동의 정도를 응답하게 하였고, 전혀 그렇지 않다(1), 그렇지 않다(2), 보통이다(3), 그렇다(4), 매우 그렇다(5) 등 5점 만점의 점수를 부여하여 설문의 각 영역별 결과에 대한 기초통계 및 t검정 결과를 통해 분석하였다. 기존 PBL 방식을 통해 진행한 첫 번째 모듈과 개편 PBL 방식을 통해 진행한 세 번째 모듈의 과정 만족도를 분석한 결과는 다음과 같다.

1) 문제기반학습 과정에 대한 전반적 만족도 비교

PBL 과정에 대한 전반적 만족도 차이를 알아보기 위해 두 종속표본 t검정에 의한 기존 모듈과 개편 모듈을 비교한 결과는 다음과 같다(Table 5). PBL 과정에 대한 전반적 만족도 설문 문항 중 ‘수업은 학생이 주도적으로 이끌어갔다고 생각한다’에서만 유의수준 0.05에서 유의미한 차이가 있는 것으로 분석되었다(t=2.07, p=0.044). 위 설문 문항을 제외한 나머지 설문 문항에서는 통계적 유의성 검정결과 유의미한 차이가 없는 것으로 분석되었다.
Table 5.

Overall satisfaction scores of the PBL curriculum

Satisfaction survey question Previous module (n=45) Redesigned module (n=45) t-value
I am satisfied with the module structure of this PBL curriculum. 3.87±0.97 3.69±0.79 0.92
I think students actively led the PBL sessions. 4.67±0.52 4.40±0.72 2.07*
I think students actively selected learning issues. 4.53±0.87 4.33±0.85 1.16
I think I had meaningful learning experiences through this module in the PBL curriculum. 4.42±0.78 4.09±0.76 1.88
I think the level of difficulty was acceptable. 3.56±1.08 3.56±0.97 0
I think the period of learning time for this module was appropriate. 3.91±1.08 3.82±0.81 0.43
I think the online PBL was more helpful than the in-person PBL. 3.98±1.08 3.96±1.09 0.1
Values are presented as mean±standard deviation.
PBL, problem-based learning.
*p<0.05.

2) 모듈별 학습내용에 대한 만족도

PBL 과정 중 기존 모듈 구성으로 진행한 모듈 1과 개편 모듈 구성으로 진행한 모듈 3의 학습내용 만족도를 분석한 결과는 다음과 같다(Tables 6, 7). 두 모듈 간 학습내용이 서로 상이하기 때문에, 기존 모듈과 개편 모듈의 학습내용 만족도 분석결과는 각각의 기술통계로 제시하였다.
Table 6.

Satisfaction scores for the learning content of the previous module (n=45)

Satisfaction survey question Mean±SD
Day 1
Learning material 1: chief complaint 4.31±0.79
Learning material 2: medical history 4.36±0.77
Learning material 3: physical examination 4.24±0.88
Learning material 4: references 4.18±0.78
Concept mapping 4.04±0.93
Selecting learning issues 4.49±0.70
Day 2
Presentation of learning issues 4.42±0.69
Learning material 5-1: diagnostic tests 4.22±0.82
Learning material 5-2: diagnostic images 4.00±0.88
Concept mapping 4.20±0.84
Selecting learning issues 4.42±0.72
Feedback for concept map 4.38±0.83
Day 3
Presentation of learning issues 4.44±0.76
Learning material 6-1: diagnostic tests 4.36±0.74
Learning material 6-2: additional tests 4.44±0.69
Learning material 7: diagnosis 4.40±0.75
Learning material 8: treatment plans 4.40±0.78
Feedback for module 1 4.31±0.82
SD, standard deviation.
Table 7.

Satisfaction scores for the learning content in the redesigned module (n=45)

Satisfaction survey question Mean±SD
Day 1
Concept mapping 4.05±0.81
Feedback for concept map 4.14±0.82
Medical history, physical examination, diagnostic tests 4.11±0.78
Selecting learning issues 4.05±0.68
Day 2
Results of medical history, physical examination, diagnostic tests 4.16±0.75
Hypothesis generation 4.14±0.73
Additional tests 4.20±0.63
Selecting learning issues 4.16±0.68
Day 3
Diagnosis and treatment 4.09±0.81
Patient education 4.09±0.80
Treatment plans 4.09±0.83
Feedback for module 3 4.11±0.84
Modified essay question 3.86±0.96
SD, standard deviation.
기존 모듈 구성으로 진행한 학습내용 만족도를 알아보기 위해 기술통계 분석을 실시한 결과, 전 활동에 걸쳐 학생들이 만족하는 학습활동이었음을 알 수 있었다(평균 ≥4.00). 개편 모듈 역시, 3일차에 실시한 MEQ 시험(평균=3.86, 표준편차=0.96)을 제외한 전 활동에 걸쳐 학생들이 만족하는 학습활동이었음을 알 수 있었다(평균 >4.00). 특히 개편 모듈에서는 모듈 개선을 통해 새롭게 추가한 1일차 병력, 진찰, 기본검사 항목 작성(평균=4.11, 표준편차=0.78)과 2일차 병력, 진찰, 기본검사 결과 제공(평균=4.16, 표준편차=0.75), 추가검사 및 처치 작성(평균=4.20, 표준편차=0.63), 3일차 환자 교육자료 만들기(평균=4.09, 표준편차=0.80) 활동에 있어 높은 만족도를 보였다.

3) 튜터 교수 및 학생 퍼실리테이터에 대한 만족도 비교

PBL 과정 중 튜터 교수 및 학생 퍼실리테이터에 대한 학습에의 도움 여부를 알아보기 위해 두 종속표본 t검정에 의한 기존 모듈과 개편 모듈을 비교한 결과는 다음과 같다(Table 8). 튜터 교수와 함께 진행했던 기존 모듈과 학생 퍼실리테이터가 진행했던 개편 모듈의 만족도 차이에 대한 통계적 유의성을 검정한 결과 설문 문항 전 항목에 걸쳐 유의수준 0.05에서 유의미한 차이가 있는 것으로 나타났다.
Table 8.

Satisfaction scores for the tutor (professor) and student facilitator

Satisfaction survey question Previous module (tutor) Redesigned module (facilitator) t-value
Mean±SD No. Mean±SD No.
The environment in the learning activities was helpful for learning. 4.45±0.73 44 3.91±1.03 44 2.09**
The learning process was helpful for learning. 4.35±0.81 43 3.93±1.06 43 2.25*
The learning content was helpful for learning. 4.50±0.70 44 4.09±0.86 44 2.25*
The learning outcomes were helpful for learning. 4.45±0.73 44 4.07±0.82 44 2.24*
The learning issues were helpful for learning. 4.48±0.66 44 3.95±0.83 44 2.82**
The problem-solving and feedback were helpful for learning. 4.33±0.78 43 3.91±0.90 43 2.25*
SD, standard deviation.
*p<0.05. **p<0.01.

4) 평가방법에 대한 만족도 비교

PBL 과정 중 평가방법에 대한 학습에의 도움 여부를 알아보기 위해 두 종속표본 t검정에 의한 기존 모듈과 개편 모듈을 비교한 결과는 다음과 같다(Table 9). PBL 과정 중 진행한 평가방법에 대한 만족도 설문 문항 중 컨셉맵 평가, 조별 학습과제 평가, 성찰일지 평가를 통한 학습에의 도움 여부가 기존 모듈과 개편 모듈의 만족도 차이에 통계적으로 유의미한 차이가 있는 것으로 분석되었다. 위 설문 문항을 제외한 ‘동료평가는 학습에 도움이 되었다’ 문항에서는 통계적 유의성 검정결과 유의미한 차이가 없는 것으로 분석되었다.
Table 9.

Satisfaction scores for evaluation methods

Satisfaction survey question Previous module Redesigned module t-value
Mean±SD No. Mean±SD No.
Concept mapping 4.18±0.89 45 3.71±1.10 45 2.22*
Learning issues reports 4.44±0.79 45 4.04±0.80 45 2.18*
Reflection journals 3.98±0.98 44 3.30±1.17 44 3.03**
Peer evaluation 3.76±1.28 45 3.62±1.13 45 0.55
SD, standard deviation.
*p<0.05. **p<0.01.

5) 학습성과 달성을 위한 모듈 도움 여부에 대한 만족도 비교

PBL 과정 중 과정목표로 제시한 학습성과를 달성하기 위해 각 모듈이 얼마나 도움이 되었는지 여부를 알아보기 위해 두 종속표본 t검정에 의한 기존 모듈과 개편 모듈을 비교한 결과는 다음과 같다(Table 10). 만족도 설문 문항 중 ‘이번 모듈은 팀워크 능력 개발에 도움이 되었다고 생각한다’의 기존 모듈과 개편 모듈에서의 만족도 차이에 대한 통계적 유의성을 검정한 결과 유의수준 0.05에서 유의미한 차이가 있는 것으로 분석되었다(t=2.53, p=0.015). 위 설문 문항을 제외한 나머지 설문 문항에서는 통계적 유의성 검정결과 유의미한 차이가 없는 것으로 분석되었다.
Table 10.

Satisfaction scores for each module for developing competencies

Satisfaction survey question Previous module Redesigned module t-value
Mean±SD No. Mean±SD No.
This module was helpful for developing clinical reasoning abilities. 4.39±0.84 44 4.14±0.77 44 1.34
This module was helpful for developing self-directed learning abilities. 4.39±0.81 44 4.18±0.72 44 1.1
This module was helpful for developing communication skills. 4.45±0.73 44 4.23±0.80 44 1.28
This module was helpful for developing teamwork skills. 4.52±0.66 44 4.07±0.93 44 2.53*
This module was helpful for integrating basic science, clinical science, and medical humanities. 4.40±0.83 42 4.24±0.73 42 0.91
SD, standard deviation.
*p<0.05.

2. 학생평가 자료 분석결과

각 모듈에서 주어진 임상표현에 대한 기전적 사고를 구조화하기 위해 진행한 컨셉맵 작성, 조별 토론을 통해 얻어낸 학습문제 조사보고서, 전체 모듈 종료 후 학습결과를 평가하기 위한 MEQ, PBL을 통해 학습한 내용을 정리하고 본인의 학습을 성찰할 수 있도록 작성한 성찰일지의 평가결과를 비교하여, 기존 PBL 방법을 통해 진행한 학생평가 결과와 개편 PBL 방법을 통해 진행한 학생평가 결과의 차이를 확인하였다.

1) 컨셉맵 평가 분석결과 비교

PBL 과정 중 각 모듈별로 첫째 날 진행한 컨셉맵 작성 평가결과 차이를 알아보기 위해 두 종속표본 t검정에 의한 첫 번째 모듈과 세 번째 모듈을 비교한 결과는 다음과 같다(Table 11). 20점 만점으로 평가한 컨셉맵 작성 평가결과의 기존 모듈 평균은 14.50, 표준편차는 2.93이며, 개편 모듈 평균은 18.38, 표준편차는 1.51로 나타났다. 기존 모듈과 개편 모듈의 평가결과 차이에 대한 통계적 유의성을 검정한 결과 t 통계값은 -3.72, 유의확률은 0.007로, 유의수준 0.01에서 유의미한 차이가 있는 것으로 분석되었다.
Table 11.

Differences in assessment scores between the previous module and the redesigned module

Assessment scores of student learning activity Previous module Redesigned module t-value
Mean±SD No. Mean±SD No.
Concept mapping (out of 20) 14.50±2.93 8a) 18.38±1.51 8a) -3.72**
Learning issues report (out of 40) 33.63±3.78 8a) 34.13±1.96 8a) -0.5
MEQ (concept map) (out of 5) 3.33±1.08 72b) 4.51±0.79 72b) -11.02**
MEQ (case) (out of 5) 4.71±0.74 72b) 3.19±1.30 72b) 8.79**
Reflection journal (out of 20) 11.71±3.15 72b) 11.82±3.13 72b) -0.35
SD, standard deviation; MEQ, modified essay question.
**p<0.01. a)Group. b)Individual.

2) 학습문제 조사보고서 평가 분석결과 비교

40점 만점으로 평가한 학습문제 조사보고서 평가결과의 기존 모듈 평균은 33.63, 표준편차는 3.78이며, 개편 모듈 평균은 34.13, 표준편차는 1.96으로 나타났다. 기존 모듈과 개편 모듈의 평가결과 차이에 대한 통계적 유의성을 검정한 결과 t 통계값은 -0.50, 유의확률은 0.632로, 통계적 유의성 검정결과 유의미한 차이가 없는 것으로 분석되었다(Table 11).

3) MEQ 평가 분석결과 비교

MEQ의 경우 컨셉맵 작성과 케이스 분석의 두 문항으로 구성되었으며, 각각 5점 만점으로 평가한 결과의 기존 모듈 MEQ 컨셉맵 평균은 3.33, 표준편차는 1.08이며, 개편 모듈 MEQ 컨셉맵 평균은 4.51, 표준편차는 0.79로 나타났다. 기존 모듈 MEQ 케이스 분석 평균은 4.71, 표준편차는 0.74이며, 개편 모듈 MEQ 케이스 분석 평균은 3.19, 표준편차는 1.30으로 나타났다. 기존 모듈과 개편 모듈의 평가결과 차이에 대한 통계적 유의성을 검정한 결과 컨셉맵 작성의 t 통계값은 -11.02, 유의확률은 0.000, 케이스 분석의 t 통계값은 8.79, 유의확률은 0.000으로, 통계적 유의성 검정결과 유의수준 0.01에서 유의미한 차이가 있는 것으로 분석되었다(Table 11).

4) 성찰일지 평가 분석결과 비교

20점 만점으로 평가한 성찰일지 평가결과의 기존 모듈 평균은 11.71, 표준편차는 3.15이며, 개편 모듈 평균은 11.82, 표준편차는 3.13으로 나타났다. 기존 모듈과 개편 모듈의 평가결과 차이에 대한 통계적 유의성을 검정한 결과 t 통계값은 -0.35, 유의확률은 0.730으로, 통계적 유의성 검정결과 유의미한 차이가 없는 것으로 분석되었다(Table 11).

고 찰

이 연구에서는 서론에서 언급한 기존 PBL의 한계를 바탕으로 PBL의 명확한 과정목표를 설정하고, 기존 문제점 파악 및 과정 평가결과를 바탕으로 고신대학교 의과대학 PBL 개편을 위한 운영방식 개선, 학습환경 개선, 평가방법 개선을 포함하는 과정 설계지침을 마련하였다. 결론 및 논의에서는 기존 PBL 교육과정과 개편 PBL 교육과정을 순차적으로 진행한 후 과정 만족도 차이 및 학생평가 결과를 비교 분석한 결과를 제시하고, 설문을 통해 얻어진 학생들의 서술형 답변을 분석하여 각 결과를 보충하고 해석하였다. 이후 시사점 및 제언을 통해 기존 PBL과 개편 PBL의 비교 분석결과로 나타난 연구의 의의 및 교육적 제언을 기술하였다.

1. 결론 및 논의

첫째, PBL에 대한 전반적 만족도 차이를 분석한 결과 기존 PBL과 개편 PBL에서 학생들의 학습 만족도에 큰 차이가 없는 것으로 나타났다. 대부분의 설문 문항에서 기존 PBL에 대한 만족도가 상대적으로 높게 나타났으나 통계적 유의성 검정결과 유의미한 차이가 없는 것으로 분석되었으며, 이는 튜터 교수가 없는 PBL에 대한 학생들의 학습 만족도가 기존과 유사한 것으로 해석할 수 있다. 다만, 학습에 있어 여전히 튜터 교수에 대한 의존도가 높음을 알 수 있었으며, 개편 PBL 과정에서는 튜터 교수 없이 학생 퍼실리테이터가 진행을 주도하고 학생만으로 구성된 조에서 모듈을 진행하게 되는데, 이때 학생들이 학습한 절차와 내용에 대해 다소 불안해하고 신뢰하지 못하는 모습을 보였다. 일부 학생의 피드백을 살펴보면 다음과 같다.
“학생들끼리 진행하다 보니 잘 진행된 조도 많지만 분위기가 잘 잡히지 않은 조도 있다고 합니다. 금방 끝내길 원하는 조원이 빨리 끝내려고 하는 등의 불편함이 있었다고 합니다.”
PBL에서 소그룹 토론을 통해 학습하는 방법에 대해 여전히 일부 학생들은 지식 영역의 학습만을 중요하게 생각하는 모습을 보였으며, 이는 곧 교수자로부터의 지식 전달 및 가이드에 대한 의존도가 높게 나타나는 결과로 이어지고 있다. 또한 조별 학습을 이끌어 나가는 학생 퍼실리테이터에 대한 신뢰가 부족하고, 적절하게 리더 역할을 해주지 못함으로 인한 조별 학습 분위기의 저하 등이 주된 이유로 드러났다.
둘째, 모듈별 내용 만족도를 분석한 결과, 개편 PBL 모듈에서 진행한 전체 학습내용에 대해 평균 만족도 4.00 이상으로 의미가 있었다고 응답하였다. 특별히 새롭게 추가한 병력, 진찰, 기본검사 항목 작성과 병력, 진찰, 기본검사 결과 제공, 추가검사 및 처치 작성, 환자 교육자료 만들기 활동에 있어 학생들은 모두 높은 학습 의미를 부여했기 때문에 PBL 중 임상적 논리전개능력 향상에 큰 도움이 된 것으로 분석되었다. 또한 모듈 진행 중 병력청취, 신체진찰 등에 대한 학생들의 질문 횟수가 증가하였고, 이에 대한 학습활동 결과 역시 긍정적인 것으로 나타났다.
셋째, PBL 과정 중 튜터 교수에 의한 학습 도움 여부와 학생 퍼실리테이터에 의한 학습 도움 여부 차이를 분석한 결과 전 항목에 걸쳐 통계적으로 유의미한 차이가 있는 것으로 나타났다. 특히 학습활동 분위기와 조별 학습과제 도출에 있어 튜터 교수와 학생 퍼실리테이터 간 상대적으로 큰 격차를 보였으며, 전 항목에 걸쳐 튜터 교수와 함께 진행한 기존 PBL이 더 도움이 되었다고 응답하였다. 앞서 제시한 전반적 만족도 중 모듈 진행에 대한 내용과 동일한 결과로, 학생들끼리 진행하는 토론보다는 교수자가 함께하는 토론에 대한 만족도가 높음을 보여주고 있으며, 이에 대한 일부 학생의 피드백은 다음과 같다.
“학생 퍼실리테이터가 얼마나 교육을 받았는지 모르겠지만, 교수님과는 전문성이나 내용의 방향을 잡는 노하우가 차이가 있지 않을까요?”
의과대학의 교육과정 특성상 교수자의 강의에 의한 수동적 내용 습득 및 암기가 전체 교육과정에 지배적인 교육방법으로 알려져 있고[17,28,29], 의과대학생의 학습 스타일 특성상 교수자에 의해 정리되어진 내용을 바탕으로 단기간 내에 암기 후 시험을 치르는 방식에 익숙해져 있어 PBL 과정 중에서도 이러한 특성이 드러나는 것이라 분석할 수 있다. 다음 학생의 피드백에서 볼 수 있듯이, 교수 튜터와 함께 PBL을 진행하는 경우에는 학생들이 다른 방향이나 틀린 내용을 바탕으로 토론을 하고 있다면 튜터의 개입을 통해 올바른 방향과 내용으로 돌아올 수 있다고 생각하는 반면, 학생들끼리 토론을 진행하는 경우에는 이러한 부분에 있어 전혀 도움을 받지 못한다고 생각하는 경향이 있음을 알 수 있었다.
“[개편 PBL 과정의 경우] 조마다 생각하는 내용이 다르고, 무엇이 틀렸고 맞았는지 알 수가 없어서 공부하기에 불안하고 [내용이] 정제되지 않아서 아쉽습니다.”
뿐만 아니라 문화적 특성상 학생-교수 사이에는 커다란 권력 차이(large power distance)가 존재하기 때문에, 대부분의 경우 교수자 중심의 학습문화를 만들게 되며, 이는 PBL 과정 중에도 자연스럽게 형성되어 학생들의 자율적 토론을 방해하는 요소가 된다[18]. 이는 결과적으로 튜터 교수에 대한 의존도를 높이며 자기주도적 학습을 통한 자율적 토론에 방해요소가 된다고 볼 수 있다.
넷째, PBL 중 평가방법에 대한 학습에의 도움 여부를 분석한 결과 동료평가를 제외한 전체 평가방법에 있어 통계적으로 유의미한 차이를 보였다. 이 중 개편 PBL 모듈과 직접적으로 관련이 있는 평가방법은 컨셉맵 평가와 조별 학습과제 평가로 두 평가방법 모두 기존 PBL 모듈이 학습에 더 의미가 있었다고 응답하였다. 기존 PBL에서 지적되었던 평가항목 및 기준의 명확성을 높이기 위해 개편 PBL에서는 평가구성 및 반영비율을 수정하였고, 컨셉맵 작성 평가의 경우 모듈 첫째 날 주어지는 환자의 주 증상과 관련한 기전적 사고를 통해 컨셉맵을 작성할 수 있도록 평가구성을 수정하였다. 이에 대한 일부 학생의 피드백을 살펴보면 다음과 같다.
“기전으로 컨셉맵을 작성하는 것이 어려웠습니다.”
“첫 날에 컨셉맵을 다 그리는 것이 어려웠습니다.”
“첫째 날에 컨셉맵 작성을 다 해서 제출해야 하는데, 작성해야 할 양 자체도 많고 책을 찾아보고 기전을 정리해서 작성해야 해서 힘들었습니다.”
노드(node) 구성과 체계적인 연결방법, 유사한 예시를 바탕으로 사전 교육을 거쳤음에도 불구하고 개편 PBL에서 진행한 컨셉맵 작성의 경우 학생들이 시간적 여유가 부족한 상황에서 학습활동을 진행하거나 컨셉맵 작성 자체가 여전히 어려운 경우가 많았던 것으로 분석되었다. 이는 곧 평가방법에 대한 만족도에 영향을 준 것으로 판단되며, 결과적으로 기존 PBL에서의 컨셉맵 평가가 상대적으로 높은 만족도를 나타낸 것으로 분석되었다.
개인별 평가에서 조별 평가로 전환한 조별 학습과제 평가의 경우에는 과정 개편을 통해 평가 루브릭을 학생에게 사전에 제공하고 해당 임상표현과의 연계성 및 소 주제의 다양성 평가, 참고문헌에 대한 평가를 추가하였다. 다만, 기존 PBL에서의 조별 학습과제 도출 및 발표가 학습활동 중 상대적으로 높은 만족도를 보였던 것에서 알 수 있듯이, 개편 내용과는 무방하게 튜터의 가이드에 의해 학습내용을 빠짐없이 학습할 수 있었던 기존 PBL 과정이 학생들로만 구성되어 튜터의 가이드 없이 자기주도적 학습을 해야 했던 개편 PBL에 비해 높은 만족도를 보였던 것으로 분석되었다(Table 6).
다섯째, PBL 과정 중 과정목표로 제시한 학습성과 달성에 기존 PBL 과정 및 개편 PBL 과정이 얼마나 도움이 되었는지 여부를 분석한 결과 협동능력 개발에 있어 기존 PBL 과정이 개편 PBL 과정에 비해 만족스러운 것으로 나타났다. 이는 첫 번째와 세 번째 결론에서 확인할 수 있었던 튜터 교수와 학생 퍼실리테이터에 의한 조별 토론 진행 차이에 따른 결과로 해석할 수 있으며, 조별 학습을 이끌어 나가는 학생 퍼실리테이터에 대한 신뢰 부족과 적절한 리더 역할의 부재로 인한 조별 학습 분위기의 저하 때문인 것으로 분석할 수 있다.
여섯째, 학생평가 결과 자료 분석을 통한 비교 분석결과 컨셉맵 작성과 MEQ 평가에 있어 통계적으로 유의미한 차이가 있는 것으로 분석되었다. 기존 PBL 모듈 중 진행한 컨셉맵 평가 평균점수에 비해 개편 PBL 모듈 중 진행한 컨셉맵 평가 평균점수가 높게 나타났으며, 이는 컨셉맵 작성 평가에 대한 학생 만족도와는 상반된 결과를 보였다(Table 9). 학생 학습활동 관찰결과 첫 번째 모듈 시 컨셉맵 작성에 비해 세 번째 모듈 시 컨셉맵을 구성하는 각각의 노드 및 연결이 복잡하고 다양하게 나타남을 볼 수 있었고, 각 노드의 레벨 구성도 적절하게 배치되어 감을 확인할 수 있었다. 주어진 임상표현에 대한 임상추론을 진행함에 앞서 다양한 기전에 대해 토론하고 기초 과목 학습내용을 바탕으로 장기, 조직, 세포, 분자 수준까지 고려하여 컨셉맵을 작성함으로써 기전적 사고를 훈련할 수 있는 긍정적 결과를 보였다. 다만, 학생 만족도 응답과는 상반된 결과에서 볼 수 있듯이, 개편 PBL 과정에서 첫째 날 학습활동이 상대적으로 과다하여 학생들의 인지적, 육체적 피로도가 증대된 것으로 분석되었고, 이는 컨셉맵 자체의 질적 향상과는 달리 학생들이 받아들이는 학습효과가 상대적으로 떨어진 것으로 보인다.
모듈 중 진행한 컨셉맵 작성과 유사하게 모든 과정을 종료한 후 진행하였던 MEQ 평가 중 컨셉맵 평가결과 역시 기존 PBL 과정으로 진행했던 모듈보다 개편 PBL 과정으로 진행했던 모듈의 컨셉맵 작성결과가 더 높게 평가된 것을 확인할 수 있었다. 반면, MEQ 평가 중 케이스 분석 평가결과는 기존 PBL 모듈이 개편 PBL 모듈에 비해 더 높은 점수로 나타났으며, 이는 모듈 및 문제 난이도 차이에 의한 성적 차이로 분석되었다. 기존 모듈의 경우 PBL 진행 직전에 학생들이 참여하였던 심장학과 신장요로계학 과정의 문제를 다루고 있었으며, 개편 모듈의 경우 상대적으로 학생들이 풀어나가기 어려운 소아 혈액학과 종양학 과정의 문제로 학생들이 좋은 점수를 받지 못한 이유로 분석되었다.

2. 시사점 및 제언

개편 PBL 과정은 전문가의 패턴 인식적인 접근을 지양하고 임상추론을 위한 가설연역적 추론능력을 향상시킬 수 있도록 기초의학적 기전을 바탕으로 실제 임상의학적 지식을 통합할 수 있게 모듈을 구성하였으며, 학생들이 직접 병력청취, 신체진찰, 기본검사 등의 질문을 작성하게 함으로써 잘 구조화된(well-structured) 일부 임상적 단서만으로 진단에 초점을 맞추어 문제의 정답만을 찾아 나가지 않도록 하였다. 튜터 교수의 소그룹 토론 참여 대신 학생이 토론을 주도적으로 진행할 수 있도록 학생 퍼실리테이터 제도를 운영하였고, 이를 통해 의사소통능력 및 협력학습능력을 보다 향상시킬 수 있도록 하였다. 토론 중 현재 알고 있는 지식으로는 대답할 수 없거나 토론시간 내에 찾아낼 수 없는 정보를 자기주도적 학습을 통해 직접 연구할 수 있도록 하고, 이를 통해 얻어진 학습내용의 중요성을 다음 학습활동과 연결시킴으로써 학생들의 메타인지능력을 기를 수 있도록 모듈을 구성하였다. PBL 과정에서의 다양한 학습활동을 적절하게 평가하기 위해 평가항목에 대한 비율을 조정하였고, 통합적 지식 적용 및 구조화를 위한 컨셉맵 작성방법 또한 새롭게 설계하였다.
연구결과 및 결론 해석을 통해 개편 PBL에서 시도한 다양한 대안의 효과성을 확인할 수 있었다. 첫째, 튜터 교수의 참여 없이 학생 퍼실리테이터로 진행하는 PBL의 가능성을 확인할 수 있었다. 일부 조를 제외하고는 학생 간의 의사소통에 어려움이 없는 것으로 나타났으며, 오히려 튜터의 눈치를 보지 않고 자유롭게 토론에 참여하는 장점도 확인할 수 있었다. 하지만 결과에서 보이는 것처럼 아직까지는 교수에 대한 학습 의존도가 매우 높게 나타나고 있으며, 학생 퍼실리테이터에 대한 불신 역시 존재하는 것으로 나타났다. 튜터 교수의 일관적이지 못한 토론 개입과 학생들의 교수 의존도가 높아질 경우 PBL의 중요한 학습절차인 학생 조별 토론내용의 격차를 크게 벌어지게 만들 수 있고, 이는 수동적인 학생 태도로 인해 자기주도적 학습을 약화시키는 주된 원인이 될 수 있다. 따라서 추후 과정에서는 교수자에 대한 의존도를 낮추고, 학생이 조별 토론을 통해 의미 있는 학습과정을 진행할 수 있도록 학생 퍼실리테이터에 대한 체계적인 교육이 전제되어야 하며, 이를 바탕으로 전체 과정을 학생 퍼실리테이터로 진행할 경우 점진적으로 학생들의 만족도가 향상될 것으로 기대한다. 둘째, 학생 퍼실리테이터의 운영으로 소그룹 토론에서 일어나는 의사결정과정과 행동양식, 태도의 문제 등 조 안에서의 다양한 역학 관계(group dynamics)를 발생하게 하며, 이 경험을 통해 소그룹 토론을 위한 의사소통능력 및 협력학습 향상을 위한 기회를 제공할 수 있었다. 다만, 소그룹 학습 중 학생 간 토론을 통해 학습하는 것에 익숙하지 않고, 팀 구성이나 팀 내 분위기에 따라 학습결과 혹은 학습에 대한 경험이 달라질 수 있다고 생각하는 경향이 있어 개편 PBL 과정에 대한 반복 노출과 계속적인 경험을 통해 극복해야 할 과제로 파악되었고, 조별 학습활동에 대한 책임감을 부여하고 무임승차 인원을 줄이기 위해 조별 인원을 축소하고 동료평가를 강화하여 조 안에서의 학습을 촉진시킬 필요가 있다. 셋째, PBL의 모듈 구성 중 기전적 사고를 바탕으로 통합적 지식을 구성할 수 있도록 컨셉맵 작성방법을 변경하고, 그 내용을 바탕으로 학생들이 직접 문진을 위한 질문과 신체진찰을 위한 항목을 작성하게 함으로써 가설연역적 추론과정을 따르는 임상추론능력을 기를 수 있었다. 학생들의 학습 만족도도 높게 나타났으며, 학생평가 결과에서도 좋은 결과를 보였다. 넷째, 개편 PBL에서 진행한 컨셉맵 평가의 경우 결과상의 긍정적인 영향에도 불구하고 작성시간의 부족으로 인해 학생 만족도가 하락하였으며, 추후 과정에서는 학생에게 충분한 시간적 여유를 부여하고 더 깊이 있는 컨셉맵을 작성할 수 있도록 책임교수와 부책임교수가 지원해 줄 필요가 있다.
이 연구의 제한점은 다음과 같다. 일개 의과대학의 사례를 분석한 연구로서 연구결과를 일반화하기 어렵기 때문에 대표성을 띄기 어려울 수 있다. 하지만 대부분의 의과대학에서 유사한 PBL을 운영하고 있으며, 이 연구에서 제시한 모듈 구성의 변화 및 그에 따른 학습효과를 파악하고 각 대학의 상황에 맞게 조정할 수 있도록 돕는 기초 자료로 의미 있게 활용될 수 있으리라 기대한다. 또한 학생평가 결과 비교를 제외한 대부분의 결론에서 학생 만족도를 분석한 결과로만 결론을 도출하였기 때문에 실질적인 학생의 학습효과성을 분석하지는 못하였다. 추후 연구에서는 1차적 평가방식인 만족도(reaction) 조사를 포함한 2차적 평가방식인 학습내용(level 2: learning) 자체에 대한 질적 평가 및 분석 역시 필요하다[30]. 마지막으로, 의료인문학, 기초의학, 임상의학의 통합적 적용을 원칙으로 모듈을 구성하도록 과정목표를 설정하였지만, 새로운 모듈 개발을 위한 시간 부족과 임상표현에 따른 의료인문학적 내용구성의 어려움으로 이번 연구를 위한 PBL 과정에서는 적용시키지 못하였다. 추후에는 기초의학과 임상의학의 통합적 적용과 더불어 의료인문학적 상황을 포함하는 모듈을 개발하여 진행해야 하며, 이를 통해 학생들이 통합적인 문제해결력을 향상시킬 수 있도록 해야 할 것이다.

NOTES

저자 기여 김세진: 연구설계, 문헌 분석, 자료 분석, 원고 작성; 김민정: 연구설계, 문헌 검색, 원고 작성 및 검토; 공섬김: 연구설계, 교육과정 운영 및 평가, 원고 작성 및 검토; 정호중: 연구 기본 개념설정, 원고 작성 및 검토.

Acknowledgments

개편 교육과정에 참여해주신 고신대학교 의과대학 의학과 2학년 학생들과 행정적 도움을 주신 의학교육학교실 강명빈 선생님에게 감사드린다.

REFERENCES

1. Barrows HS, Tamblyn RM. Problem-based learning: an approach to medical education. Springer Publishing Company; New York (NY): 1980.
2. Barrows HS. Problem-based learning applied to medical education. Southern Illinois University Press; Springfield (IL): 2000.
3. Jimenez-Saiz R, Rosace D. Is hybrid-PBL advancing teaching in biomedicine?: a systematic review. BMC Med Educ. 2019;19(1):226
crossref pmid pmc pdf
4. Savery JR. Overview of problem-based learning: definitions and distinctions. Interdiscip J Probl Based Learn. 2006;1(1):9-20.
5. Oh SA, Chung EK, Woo YJ, Han ER, Kim YO. Analysis of verbal interactions in problem-based learning. Korean J Med Educ. 2010;22(2):131-139.
crossref pmid
6. So YH, Lee YM, Ahn DS. An student’s evaluation of the implementation of problem-based learning. Korean J Med Educ. 2005;17(1):49-58.
crossref
7. Hmelo-Silver CE. Problem-based learning: what and how do students learn? Educ Psychol Rev. 2004;16(3):235-266.
crossref
8. Shokar GS, Shokar NK, Romero CM, Bulik RJ. Self-directed learning: looking at outcomes with medical students. Fam Med. 2002;34(3):197-200.
pmid
9. Norman GR, Schmidt HG. The psychological basis of problem-based learning: a review of the evidence. Acad Med. 1992;67(9):557-565.
pmid
10. Chang BH, Lee YC, Kim BW, Kang DS, Kwak YS, Kang E, et al. The implementation of problem-based learning in Kyungpook National University School of Medicine and its evaluation. Korean J Med Educ. 2001;13(1):91-105.
crossref
11. Woods NN, Neville AJ, Levinson AJ, Howey EH, Oczkowski WJ, Norman GR. The value of basic science in clinical diagnosis. Acad Med. 2006;81(10 Suppl):S124-127.
crossref pmid
12. Yune SJ, Im SJ, Lee SH, Baek SY, Lee SY. Effects of differences in problem-based learning course length on academic motivation and self-directed learning readiness in medical school students. Korean J Med Educ. 2010;22(1):23-31.
crossref pmid
13. Goldszmidt M, Minda JP, Devantier SL, Skye AL, Woods NN. Expanding the basic science debate: the role of physics knowledge in interpreting clinical findings. Adv Health Sci Educ Theory Pract. 2012;17(4):547-555.
crossref pmid pdf
14. Kim YI. New medical curriculum in Harvard University. Korean J Med Educ. 1992;4(2):99-112.
crossref
15. Yeo S, Chang BH. Implementation of problem-based learning in medical education in Korea. Korean J Med Educ. 2017;29(4):271-282.
crossref pmid pmc pdf
16. Hung W. Theory to reality: a few issues in implementing problem-based learning. Educ Technol Res Dev. 2011;59(4):529-552.
crossref pdf
17. Ju H, Choi I, Yoon BY. Do medical students generate sound arguments during small group discussions in problem-based learning?: an analysis of preclinical medical students’ argumentation according to a framework of hypothetico-deductive reasoning. Korean J Med Educ. 2017;29(2):101-109.
crossref pmid pmc pdf
18. Ju H, Choi I, Rhee BD, Lee JT. Challenges experienced by Korean medical students and tutors during problem-based learning: a cultural perspective. Interdiscip J Probl Based Learn. 2016;10(1):8.
crossref
19. Lloyd-Jones G, Hak T. Self-directed learning and student pragmatism. Adv Health Sci Educ Theory Pract. 2004;9(1):61-73.
crossref pmid
20. Patel VL, Groen GJ, Norman GR. Effects of conventional and problem-based medical curricula on problem solving. Acad Med. 1991;66(7):380-389.
crossref pmid
21. Yeo S, Chang BH. Students’ perceptions and satisfaction level of hybrid problem-based learning for 16 years in Kyungpook National University School of Medicine, Korea. Korean J Med Educ. 2016;28(1):9-16.
crossref pmid pmc pdf
22. Barrow EJ, Lyte G, Butterworth T. An evaluation of problem-based learning in a nursing theory and practice module. Nurse Educ Pract. 2002;2(1):55-62.
crossref pmid
23. Kim JY, Son HJ, Kim JH, Hong KP. Does tutor evaluation in the PBL course assess different aspects of learning from what written examination assesses? Korean J Med Educ. 2005;17(1):37-47.
crossref
24. Des Marchais JE, Vu NV. Developing and evaluating the student assessment system in the preclinical problem-based curriculum at Sherbrooke. Acad Med. 1996;71(3):274-283.
crossref pmid
25. Wood EJ. Problem-based learning. Acta Biochim Pol. 2004;51(2):21-26.
crossref pdf
26. Choi I, Yoon BY. New challenges for Korean medical education: enhancing students’ abilities to deal with uncertain ill-defined problems. Korean Med Educ Rev. 2014;16(3):111-118.
crossref
27. Baker DF. Peer assessment in small groups: a comparison of methods. J Manag Educ. 2008;32(2):183-209.
crossref pdf
28. Kim KJ, Hwang JY. Characteristics of medical teachers using student-centered teaching methods. Korean J Med Educ. 2017;29(3):187-191.
crossref pmid pmc pdf
29. Park KH, Park JH, Kim S, Rhee JA, Kim JH, Ahn YJ, et al. Students’ perception of the educational environment of medical schools in Korea: findings from a nationwide survey. Korean J Med Educ. 2015;27(2):117-130.
crossref pmid pmc
30. Kirkpatrick JD, Kirkpatrick WK. Kirkpatrick’s four levels of training evaluation. ATD Press; Alexandria (VA): 2016.


Editorial Office
Yonsei University College of Medicine, 50-1 Yonsei-ro, Seodaemun-gu, Seoul 03722, Korea
Tel: +82-2-2228-2514   Fax: +82-2-364-5450   E-mail: kmer@yuhs.ac                

Copyright © 2024 by Yonsei University College of Medicine.

Developed in M2PI