임상실습 강화를 위한 유비쿼터스 포트폴리오 시스템: 포트폴리오 설계, 개발, 적용 및 확산
Enhancing Clerkship through a Ubiquitous Portfolio System: Design, Development, Implementation, and Dissemination
Article information
Trans Abstract
This paper describes the design, development, and implementation of a ubiquitous portfolio (u-portfolio) system aimed at enhancing clinical clerkship education at Inje University College of Medicine from 2016 to 2020. This developmental research employed involved a literature review of 69 papers on electronic portfolios (1990–2013), and as well as a series of focus group interviews and surveys with key stakeholders during the iterative design, evaluation, and revision process. The literature analysis revealed three main purposes of e-portfolios (learning, assessment, and showcase) and nine key elements for a multi-purpose e-portfolio (e.g., quality of student reflection, postgraduate continuous learning, and timely and frequent feedback). The system evolved from paper-based portfolios to address the standardization of students’ clerkship experiences across five teaching hospitals, incorporating competency-based education and enabling efficient data management to promote student learning, assessment, and feedback. Key challenges in transitioning from paper to electronic portfolios included infrastructure issues, user adaptation, and assessment standardization. The resulting u-portfolio system, which allowed the seamless integration of mobile devices, emphasized five core functions: enhanced real-time feedback, transparent evaluation with rubrics, improved reflection quality, real-time assessment and tracking, and mapping between learning and competency achievements. Initially implemented in the internal medicine clerkship in 2016, the system was gradually expanded to all core clerkships by 2018. The success of this system led to its adoption by 19 medical schools through a consortium organized by the Korea Association of Medical Colleges, with 31 schools now collaborating to enhance clerkships through the u-portfolio system.
서론
의과대학의 교육과정에서 임상실습은 실제 임상현장에서 환자를 대상으로 직접 관찰하고 의사의 직무 중 일부를 교수자의 감독하에 행해보는 중요한 시기이다[1]. 인제대학교 의과대학(인제의대)은 5개의 교육병원에서 학생들이 임상실습을 하며 모든 교육병원, 모든 과를 실습하지 않기 때문에 생기는 학습경험의 표준화를 위해 2007년부터 임상실습에 종이 포트폴리오를 개발하여 적용해 왔다[2]. 역량바탕의학교육으로 교육과정을 전면 개편하는 작업이 임상실습부터 시작된 일환이기도 했다[3]. 임상실습과정은 비교적 학습자의 역량을 수행단위로 정의하기가 수월하고 교수학습활동과 평가방식이 명확하다. 학습 측면에서는 임상실습의 문제점인 관찰 중심의 실습을 극복하기 위해 학생들이 직접 환자를 만나 병력청취와 신체진찰을 하고 임상추론을 통해 진단에 이르는 훈련을 강화하였다. 이러한 학생들의 실습성과 증거들이 모인 포트폴리오는 교수자의 피드백과 평가를 강화하였고 학습자의 의미 있는 성찰과 학습경험을 촉진하였다[4,5]. 경험학습모델에 따르면 경험만으로 학습이 일어나는 것이 아니므로 더욱 세심한 교수학습설계가 필요하다. 이를 구현하기 위해 임상실습 포트폴리오의 개선을 거듭하였고 학생들이 작성하는 기록지는 교수자들의 피드백과 평가지가 대응하도록 구성하였다. 또한 실습을 한 후 자신과 동료, 교수자, 타 의료진에 대한 관찰과 성찰을 성찰저널이라는 글쓰기를 통해 표현하게 하고 교수자가 이를 피드백하여 전문직업성을 강화하고자 노력하였다.
그러나 종이 임상실습 포트폴리오는 보관과 이동이 용이하지 않고 검색이 불가능하기 때문에 이후 학습자가 역량평가를 위한 포트폴리오를 작성할 때 이를 효과적으로 활용하기 어려웠다. 향후 포트폴리오평가를 염두에 둔 인제의대는 임상실습 포트폴리오를 전산화할 필요가 있었다. 2014년부터 종이 포트폴리오를 웹기반으로 전산화하기 시작했고 2015년 파일럿 적용과정에서 얻은 결과를 토대로 2016년부터는 실습현장에서의 적시적 활용성을 강화하기 위해 모바일기기 활용이 강화된 유비쿼터스 포트폴리오(u-포트폴리오) 시스템을 구축하게 되었다.
임상실습 u-포트폴리오를 설계할 때 학습자들의 학습경험을 향상시키기 위해 고려했던 원칙에 따라 설계된 임상실습의 학습평가도구인 u-포트폴리오 전산화 개발과정과 최종 결과물을 공유하는 것이 본 연구의 목적이다. 또한 실제 현장에서 임상실습 전자 포트폴리오를 사용하면서 학습자와 교수자의 의견을 반영하여 u-포트폴리오를 개선해 나간 과정을 함께 기술하였다. 논의는 다음의 순서로 진행하고자 한다. (1) 2014년 당시 진행했던 전자 포트폴리오의 선행연구에 대한 분석과 이를 통해 도출된 설계 시 고려할 요소들을 제시하고, (2) 이론적 관점과 실제적 관점에서 임상실습의 핵심적인 학습경험을 탐구한 결과와 이를 바탕으로 인제의대에서 시도한 포트폴리오 기반 임상실습 틀을 제시하고자 한다. (3) 전자 포트폴리오의 문제점을 개선한 임상실습 u-포트폴리오의 설계구조를 기술하고 학습자와 교수자가 이용하는 인터페이스 디자인의 의도를 기술하고자 한다.
포트폴리오 개발을 위한 연구대상 및 방법
2007년부터 시작된 인제의대의 포트폴리오 프로젝트는 크게 4단계로 나눌 수 있다. 첫째는 포트폴리오 도입 및 적용(2007–2015)을 통한 역량평가시스템 구축, 둘째는 포트폴리오 전산화(2013–2014)로 종이 포트폴리오의 한계 극복, 셋째는 모바일기기 활용을 강화한 u-포트폴리오를 통해 포트폴리오의 적시적 활용 강화(2015–2018), 넷째는 컨소시엄 구축을 통한 u-포트폴리오 확산 단계로 나눌 수 있다. 이러한 장기적 프로젝의 맥락 속에서 u-포트폴리오라는 새로운 전자 학습평가도구 시스템을 개발 및 개선하는 반복적 과정이 진행되었는데(2–3단계), 각 단계의 필요에 따라 문헌조사(2013–2014)와 초점집단면담 및 설문조사(2014–2018)가 반복적으로 진행되었다(Appendix 1).
1. 포트폴리오에 관한 선행연구 분석
조지아대학에서 제공하는 문헌검색 서비스에서 ‘*portfolio*’를 검색어로 사용하여 1990년부터 2013년까지의 논문을 검색하였다. 일차적으로 검색된 논문의 제목 또는 학술지명을 확인하여 예술 및 경제 분야와 같은 교육목적의 포트폴리오에 해당하지 않는 결과는 제외하였다. 그 결과, Education Research Complete, ERIC, PsycINFO, Academic Search Complete, ScienceDirect, Health Source, MEDLINE, and Science Citation Index 데이터베이스에서 제공하는 논문 217편이 선정되었다. 연구의 목적에 부합하는 선행연구를 선별하기 위하여 선정된 논문의 초록을 검토하여 (1) 전자 포트폴리오와 관련된 연구, (2) 고등교육 환경에서 수행된 연구, (3) 영어로 출판된 문헌, (4) 전자 포트폴리오 시스템의 설계 틀 또는 자료 구성에 관한 개념적 모델을 포함한 연구에 해당하는 69편의 논문을 최종 선정하고 분석하였다.
2. 임상실습의 핵심적 학습경험 탐구
임상실습의 핵심적인 학습경험을 탐구하여 분석하기 위해 교수자 초점집단면담을 시행하였다. 초점집단면담은 2013년 1월 임상실습개선 워크숍에 참여한 5개 실습병원의 내과, 외과, 산부인과, 소아과, 정신과, 응급의학과 실습담당교수 30명을 대상으로 이루어졌다. 각 병원별로 6인의 초점집단이 약 40분간 면담에 참여했다. 기존에 사용하고 있는 종이 포트폴리오를 바탕으로 임상실습 중 핵심적인 학습활동과 실습과정에 대해 질문하였다. 전자 포트폴리오에 대한 선행연구와 인제의대의 임상실습의 핵심 학습경험 분석을 바탕으로 임상실습 전자 포트폴리오를 설계하여 개발하였다.
3. 2014년에 개발한 전자 포트폴리오의 문제점 분석과 u-포트폴리오의 개선
전자 포트폴리오를 2015년 임상실습에 적용하고 발생한 문제점을 분석하기 위하여 포트폴리오 개선을 위한 설문과 면담을 시행하였다. 설문은 교수 51명(서울 3명, 부산 8명, 상계 7명, 일산 16명, 해운대 10명)과 학생 91명이 응답하였다. 설문에 응답한 교수 중 58%가 임상실습 담당교수였다. 2015년은 예외적으로 5월부터 6월까지 병원을 직접 방문하여 전자 포트폴리오를 사용하고 있는 핵심 과목 임상실습 담당교수를 만나 면담하였고, 주제 분석(thematic analysis) 방법을 이용해 수집된 데이터를 분석하였다[6]. 이를 바탕으로 전자 포트폴리오의 문제점 등을 보완, 개선하여 새롭게 u-포트폴리오를 개발하였다. u-포트폴리오를 2016년부터 내과 임상실습에서 적용한 후 사용자의 요구를 반영하여 2019년까지 모든 핵심 임상실습과에서 고도화 작업을 하였다. 2016년부터 이루어진 설문과 면담은 통상적인 교육평가와 개선의 일환으로 학년 말에 진행되는 교육 모니터링 자료수집과 병행하여 시행되었다.
개발과정에서 이루어진 일련의 연구는 미국 조지아대학(University of Georgia)의 연구윤리심의위원회(institutional review board) 승인(STUDY00001650)을 받아 진행하였다.
전자 포트폴리오에 대한 문헌고찰
문헌분석의 초점은 전자 포트폴리오의 주요 목적과 기능 및 그에 따른 주요 요소들을 선택된 문헌들로 추출하여 포괄적 포트폴리오 설계를 위한 초석을 다지는 데 있다. 선정된 69편의 전자 포트폴리오 관련 문헌을 분야별로 보면, 의학교육 분야 34편과 교사교육 분야 23편으로, 두 교육 영역에서의 연구가 대부분을 차지하고 있었다. 내용별로는, 5편의 문헌이 포트폴리오의 설계 틀과 모델을 제시하고 있었고, 나머지 64편의 문헌은 포트폴리오 적용 시 나타나는 문제점과 해결 과제를 정리하고 이를 극복하기 위한 방안을 다루고 있었다.
1. 전자 포트폴리오의 다양한 정의 및 목적
교육 분야에서 포트폴리오의 개념은 지속적으로 변화되어 왔다. 초기에는 학습자의 최고 성과물을 단순히 모아 놓은 것으로 간주되었으나, 점차 학생의 성장과 학습성취, 수행수준을 평가하는 실제적인 평가자료, 그리고 교육기관의 요구에 부합하는 다양한 정보에 이르기까지 학습성과물을 총체적으로 취합하는 것으로 그 역할이 확장되었다[7,8]. 포트폴리오 및 전자 포트폴리오의 정의와 관련한 여러 연구를 살펴보면 다음과 같다. Butler [9]는 포트폴리오를 개인의 학습과정과 능력을 보여주기 위해 수집된 증거 자료들의 모음으로 정의하였고, Paulson 등[10]은 포트폴리오를 하나 또는 그 이상의 분야에서 명확한 목적을 가지고 학생의 노력, 발전, 성취를 보여주는 학습결과물의 모음으로 정의하였다.
전자 포트폴리오의 경우 Lorenzo와 Ittleson [11]은 개인, 집단, 조직, 또는 기관을 대표하는 시연, 자료, 성취 등을 포함한 디지털화된 산출물의 모음으로 정의하였고, Abrami와 Barrett [12]은 전자 포트폴리오를 텍스트, 이미지, 비디오, 오디오 등 시청각적 콘텐츠를 저장할 수 있는 디지털 저장공간이자 학습 및 평가의 다양한 목적을 지원하도록 설계된 소프트웨어 도구로 정의하고 있다. 이러한 정의들을 종합해보면 포트폴리오는 개인의 학습과정, 성취, 그리고 역량을 보여주는 산출물의 선별적인 모음이며, 전자 포트폴리오는 종이 기반 포트폴리오의 디지털 버전으로서 학습과 평가 등 다양한 사용목적을 지원하도록 설계된 소프트웨어 도구로 정의 내릴 수 있다.
분석한 연구들에서는 전자 포트폴리오를 사용대상 또는 사용목적에 따라 다양하게 분류하고 있다. Lorenzo와 Ittleson [11]은 전자 포트폴리오를 주요 사용대상을 기준으로 학생, 교수, 기관 포트폴리오의 세 가지로 분류하였다. 학생 포트폴리오는 교육과정상에서 학생들이 성취한 다양한 수준의 기술 및 역량을 기록하기 위해 가장 보편적으로 사용되는 포트폴리오이고, 교수 포트폴리오는 교사의 교수 역량과 성취를 나타내기 위한 산출물의 모음으로 최상의 수업자료, 수업계획, 수상경력 등이 포함될 수 있다. 기관 포트폴리오는 학생과 교수 포트폴리오뿐만 아니라 다양한 프로그램 및 학과의 포트폴리오를 포괄하며, 기관 포트폴리오에는 일반적으로 기관을 잘 드러낼 수 있는 대표적인 실적, 데이터, 분석자료 등을 신중히 선별하여 담는다. 같은 맥락에서 전자 포트폴리오의 사용목적에 따라서 Zeichner와 Wray [13]는 학습 포트폴리오, 자격 포트폴리오, 쇼케이스 포트폴리오의 세 유형으로 분류하였으며, Abrami와 Barrett [12]는 포트폴리오를 과정 포트폴리오, 쇼케이스 포트폴리오, 평가 포트폴리오의 세 가지 유형으로 나누었다. Smith와 Tillema [14] 역시 사용목적에 따라 포트폴리오를 자료모음(dossier) 포트폴리오, 교수 포트폴리오, 성찰 포트폴리오, 그리고 자기개발 포트폴리오의 네 가지로 정의하였다.
이들의 분류과정에서 나타난 공통된 전자 포트폴리오의 주요 기능은 첫째, 학생의 학습성취 혹은 그 과정을 기록하고 개인의 발전을 돕는 것이라고 볼 수 있다(예, 학습, 과정, 자기개발 포트폴리오). 두 번째 공통된 기능은 평가의 가능이다(예, 자격 혹은 평가 포트폴리오). 포트폴리오는 학생의 학습성취 및 역량을 평가하기 위한 도구 또는 평가를 위한 근거자료로서 교수뿐 아니라 교육기관 모두 서로 다른 관점에서 중요한 사용자가 될 수 있다. 마지막으로, 포트폴리오는 잠재적 고용주를 대상으로 하나 또는 그 이상의 분야에서 개인의 역량을 구체적으로 표현하기 위한(showcase) 기능을 가지고 있다[15].
2. 기존 전자 포트폴리오 관련 연구의 한계점
대부분의 교육기관에서 전자 포트폴리오 시스템은 교육과정, 전공 프로그램, 교육기관의 다양한 맥락에서 여러 가지 목적을 위해 설계되고 활용되어 왔으나[9], 앞에 나타난 학습, 평가, 쇼케이스의 세 가지 주요 목적을 동시에 고려하여 전자 포트폴리오설계를 위한 포괄적 틀을 제안한 연구는 부족했다. Rao 등[16], Wang [17]의 연구는 학습 측면에 국한된 수준에서 전자 포트폴리오 설계를 위한 틀을 제안한 경우는 있으나, 대부분은 전자 포트폴리오 시스템의 도입 절차, 도입 후 발생한 문제점, 혹은 학습을 위한 포트폴리오 자료의 구조화 등에 주로 초점을 맞추고 있었다.
전자 포트폴리오 시스템의 설계 시 다양한 목적을 충분히 고려하지 않을 경우 여러 문제가 발생할 수 있다. 예를 들어, 시스템이 단일 목적이나 특정 대상만을 고려하여 설계될 경우, 사용 중단, 학습효과 감소, 목적에 부합하지 않는 콘텐츠 등의 문제가 발생할 수 있다[11]. 또한 교육과정이나 전공 프로그램 운영만을 위해 설계한 전자 포트폴리오의 경우 잠재적 고용주가 중요하게 생각하는 요소들을 충분히 반영하지 못할 수 있어, 졸업 후 진로분야 진출 시 효과적으로 활용되지 못할 가능성이 있다[10,18]. 마찬가지로, 전자 포트폴리오 개발 시 학습목적에 대한 충분한 고려가 이루어지지 않을 경우, 전자 포트폴리오의 필요성에 대한 인식 부족, 학생들의 피상적인 성찰, 그리고 학생 참여도 저하 등의 문제가 발생할 수 있다[11,19]. 결과적으로, 전자 포트폴리오를 둘러싼 다양한 이해관계자들의 요구를 충족할 있는 다양한 목적과 기능을 포괄적으로 고려하는 전자 포트폴리오의 설계 및 개발이 중요하다 할 수 있다[15].
3. 다목적 전자 포트폴리오 설계 시 고려할 핵심 요소
분석한 연구들에서 나타난 전자 포트폴리오의 설계 및 개발 시 발생한 어려움, 긍정적인 경험의 요인, 사용에 있어서의 주된 장애요소 등을 바탕으로 성공적인 전자 포트폴리오 설계 및 개발 시 고려할 9개의 핵심적 요소들을 도출하였다. 도출한 핵심 요소들은 학생 성찰의 질[12,14,15], 지속적인 활용[11,13,20-22], 전자 포트폴리오 자료에 대한 접근권한 관리[23-25], 대상 집단에 대한 고려[14], 평가의 신뢰성 및 타당성[26-28], 평가를 위한 명확한 지침[14,29,30], 적시에 제공되는 적절한 피드백[9,11,31,32], 여러 버전의 전자 포트폴리오 관리 지원[11,12,23,33,34], 진로분야의 요구 반영[18] 등을 포함한다. Table 1은 각 요소들의 설명과 함께, 이를 세 가지 주요 목적과 사용자에 따라 분류하여 제시하였다. 이는 포트폴리오를 둘러싼 다양한 이해관계자들의 요구에 부응할 수 있는 통합적인 전자 포트폴리오 설계에서 중요한 시사점을 제시한다[15].
A framework for designing and implementing multipurpose e-portfolio systems
임상실습의 핵심적 학습경험 분석과 u-포트폴리오 기반 임상실습의 틀(framework)
임상실습 교육의 문제점은 우연에 의한 교육기회에 의존하며 참여하는 실습이 아니라 관찰하는 실습에 국한되는 것이다. 상급종합병원에서 대부분의 임상실습이 이루어지므로 질병 중심, 치료 중심의 교육이 이루어지며 바쁜 임상현장에서 교수자는 학생들에게 피드백 할 수 있는 시간이 부족하다[4].
임상실습 교육의 핵심은 바쁜 교수자가 학습자에게 학습경험을 일방적으로 전달하는 것이 아니라 학습자가 실제 환자를 만나면서 능동적인 사례바탕학습을 하도록 촉진하는 것이다. 이를 가능하게 하는 것은 적시에 이루어지는 교수자의 피드백이다[35]. 포트폴리오가 이를 가능하게 하도록 하기 위해 먼저 핵심적인 임상실습경험을 분석하고 어떤 부분이 포트폴리오가 개입하여 개선할 수 있을 지 파악하였다.
인제의대는 임상실습의 핵심적인 학습경험이 환자의 임상표현으로부터 시작된다고 보았으며 임상표현으로부터 시작된 임상추론 훈련, 기본적인 술기 훈련, 실습활동에 대한 성찰이 임상실습의 주된 학습활동이라고 정의하였다(Figure 1). 인제의대 임상실습 종이 포트폴리오는 대부분의 실습 경험에 대응하며 학생이 모든 실습 경험을 문서화하고, 학습자가 작성한 모든 기록에 대해 교수자가 확인, 피드백, 평가한다. 교수자의 피드백과 평가는 학생의 학습경험과 성찰을 독려하고 자극한다.
Experience, reflection, and feedback cycles for meaningful clerkship learning.
핵심적 임상실습 경험을 자세히 분석하여 포트폴리오 기반 학습활동과 기록지로 표현하면 다음과 같다(Figure 2). 인제의대는 졸업역량 중 하나인 문제해결능력을 교육하기 위해 임상실습 중 임상추론 교육을 강조하고 있다. 핵심 임상실습에는 한 주에 2–3번의 외래 예진을 시행하고 한 명의 입원환자를 배정받아 임상추론을 연습하여 피드백 받는 것을 의무화하고 있다. 환자가 교수를 만나기 전에 학생들과 먼저 만나고 병력청취와 신체진찰을 한 후 외래 예진기록지에 이를 써서 교수의 외래에 환자와 함께 들어오고 학생이 작성한 기록지를 교수가 검토한 후 즉각적인 구두 피드백과 함께 환자를 진료하면서 모델링을 한다. 학생은 교수의 외래를 관찰한 후 예진기록지를 다시 수정하여 최종기록지로 작성하여 문서형태로 제출하고 서면으로 평가를 받는다. 이때 강조되는 추론은 스키마 귀납적 추론(schema-inductive reasoning)이다[36]. 입원환자 입원기록지와 경과기록지 작성은 문제 중심 의무기록을 채택하고 있으며, 이를 통해 가설연역추론(hypothetico-deductive reasoning)을 훈련하고 분석적 사고를 강조한다[37]. 기록지를 실습담당교수에게 제출하고 사례발표와 함께 피드백과 평가를 받는다. 그러나 임상실습기간에 만나는 환자는 제한적이고 우연에 의한 것이므로, 이를 보완하기 위해 매주 사례바탕학습을 추가로 하고 있다. 교수자는 중요하지만 실습기간 중 충분히 경험하지 못한 임상표현을 선정하여 가능한 실제 환자 자료를 제시하면서 주 2회 1시간씩 소그룹학습을 통해 사례분석과 임상추론 연습을 한다. 이에 대해서도 그룹단위의 피드백과 평가, 개인과제에 따른 평가가 있다.
Clinical clerkship teaching and learning experiences afforded by the u-portfolio system. SNAPPS, summarize narrow analyze probe plan select; POMR, problem-oriented medical record.
임상실습기간 중 술기교육은 실제 환자에게 행할 수 있는 술기인 신체진찰과 혈압측정 등의 비침습적 술기가 있고, 침습적 술기는 마네킹 등을 이용하여 병원별 술기실습실에서 이루어진다. 학생이 직접 행하는 술기는 교수나 교육 전공의가 직접 관찰하고 현장에서 피드백을 제공하고 평가한다. 그 외 수술실에서 이루어지거나 검사실에서 이루어지는 특수 검사는 학생들이 관찰하고 로그(log)를 작성하여 교수자로부터 확인을 받는다.
인제의대는 임상실습 중 성찰을 강조하고 있다. 전문가의 중요한 역량인 성찰 역량을 키우기 위해 자신의 행동에 대한 성찰(reflection-on-action)은 중요하며, 의과대학에서 임상실습이 이를 향상할 수 있는 가장 적절한 교육적 맥락이라고 보았다[38]. 매주 졸업역량 중 하나를 골라서 임상실습 중 경험에 대한 성찰일지를 쓰도록 하였고, 이를 실습담당교수가 글로 피드백 하면서 성찰을 돕고 있다.
전자 포트폴리오 기반 임상실습의 문제점
종이 기반의 포트폴리오는 학생이 작성한 문서를 교수에게 제출하고 교수가 제출 받은 문서에 대한 평가를 한 후 이를 다시 돌려주는 번거로움이 있었고 평가지를 따로 실습담당교수가 취합하여 성적을 산출하는 과정으로 인해 실습담당교수의 업무가 과중하였다. 학생은 방대한 기록지를 관리하는 것에 어려움이 있었고 실습병원을 이동할 때마다 종이 포트폴리오의 부피로 어려움을 겪었고 원할 때 다시 찾아보는 것이 쉽지 않았다. 또한 실습이 끝나는 시점에 제출한 기록은 돌려받지 못하는 경우도 있어서 문서의 이력관리도 가능하지 않았다. 전자 포트폴리오의 개발은 이런 문제의 상당 부분을 해결할 수 있을 것으로 기대하였다.
종이 기반의 포트폴리오를 단순히 전산화하였다고 해서 모든 종이 포트폴리오의 문제점이 해결되고 의도한 결과를 가져온 것은 아니었다. 2015년 전자 포트폴리오를 임상실습에 적용하였을 때 많은 문제점이 드러났다. 교수자와 학습자의 설문과 초점집단면담을 통해 발생한 문제점을 분석하고 분류하였다[39] (Table 2).
Issues that arise when converting paper portfolios to electronic portfolios and their solutions
포트폴리오의 전산화에는 정보기술(information technology) 발달에도 많은 영향을 받았다. 개발을 시작했을 당시에 병원 내 와이파이 상황이 좋지 못했던 문제로 기록지와 피드백이 실시간 저장되지 않았다. 이를 해결하기 위해 앱을 새롭게 개발했고 와이파이가 되는 상황이 되면 탭에 저장한 데이터가 사후에 서버에 저장되는 비동기식 통신기능을 적용했다. 그러나 불과 몇 년 만에 와이파이 속도가 빨라지고 병원 내에서 모든 내원객이 자유롭게 와이파이에 접근하는 환경이 만들어지면서 실시간 데이터를 저장할 수 있게 되어 개발된 앱은 필요하지 않은 기술이 되었다. 또한 많은 데이터를 구동하는 데 어려움이 없어져 사용자 인터페이스가 개선되고 복잡한 기능의 구동도 가능해졌다.
현장 피드백과 평가를 강화하기 위해서 포트폴리오를 모든 학습상황과 임상상황에서 학습자와 교수자에게 같은 데이터를 다양한 디바이스(컴퓨터, 타블렛, 스마트폰 등)에서 구동되도록 유비쿼터스 포트폴리오를 개발하는 것이 중요한 개선 목표였다. 개발 측면에서는 웹과 앱을 이중으로 개발하고 서로 데이터를 연동해야 하는 작업이었다. 그러나 기술의 발달로 개발된 웹 기반 프로그램이 자연스럽게 모든 전자 디바이스에 반응형으로 표현되는 시대가 와서 앱을 동시에 개발하기 위한 많은 노력을 했던 것에 비해 이 문제는 자연스럽게 해결되었다. 또한 처음 포트폴리오를 전산화할 때 유비쿼터스 환경을 만들기 위해서는 개인 태블릿이 필요했는데, 당시에 개인 디바이스를 가진 학생이 많지 않아서 학교에서 대여해 주는 등 부가적인 지원이 필요했다. 현재는 모든 학생들이 다양한 개인 디바이스를 가지고 있으므로 고려할 필요가 없는 사항이 되었다.
새로운 시스템에 대한 사용자들의 적응 정도는 다양하였는데, 학생들은 전자 시스템을 더욱 익숙하게 생각했다. 교수자들도 이미 병원에서 전자의무기록을 사용하고 있음으로 큰 저항은 없었지만 새로운 프로그램에 적응하는 것에 거부감이 있었으며 초기 프로그램이 불안정한 상태에서 부정적인 피드백이 많았다. 인터페이스를 사용자 중심으로 개편하고 직관적으로 만들 필요가 있었고 반복적인 사용자 교육과 자세한 매뉴얼을 만들어 배포하는 것이 중요했다.
전자 포트폴리오를 적용한 후 포트폴리오의 문제가 아닌 임상실습 교육 자체의 문제점도 드러났다. 전자로 피드백과 평가기록이 저장되면서 특정 교수자에게 학생업무가 몰리고 있고, 이는 질 높은 현장 피드백을 저해하는 원인이라고 파악하였다. 교수자들의 의견에 따라 학생들에 대한 피드백과 평가업무를 고루 나누고, 이에 대한 실질적인 보상체계를 만들기 위해 노력하였다. 교수자마다 평가결과가 달라 학생들이 평가에 대한 신뢰도 제고를 요구하였고, 이를 해결하기 위해 임상실습 평가에 대한 교수개발을 강화하였다. 또한 학교에서 교육한 대로 현장에서는 적시에 피드백이 일어나지 않는 경우가 많았고, 종이 포트폴리오에 비해 전산화된 포트폴리오가 오히려 외래환경에서 즉각적인 피드백을 방해하는 현상이 나타났다. 이를 해결하기 위해 이후 다양한 방식의 실험과 개선이 이루어졌다.
개선한 임상실습 u-포트폴리오 시스템
전자 포트폴리오에 대한 문헌고찰과 임상실습의 핵심적 학습경험에 대한 분석을 바탕으로 전자 포트폴리오를 개선하여 모든 학습상황과 임상상황에서 학습자와 교수자에게 같은 데이터를 다양한 디바이스에서 구동되도록 유비쿼터스 포트폴리오를 개발하였다. 새로운 시스템에서 가장 중점을 두었던 기능은 크게 다섯 가지이다(Appendix 2).
1. 현장 피드백과 평가 강화
적시에 충분한 피드백을 제공하기 위해 현장평가를 강화하는 것이 개선된 u-포트폴리오의 중요한 개발 방향이었다. 이를 구현하기 위해 유비쿼터스한 환경을 구축하고 여러 디바이스에서 포트폴리오가 열리도록 개발하여 모바일이나 태블릿에서 평가가 가능하도록 하였다. 바쁜 임상현장에서 교수자가 별도의 디바이스에 로그인하지 않도록 하기 위해 학습자의 디바이스를 이용하여 평가할 수 있도록 하였다. 외래 예진기록지에 대한 현장 피드백, 술기 평가, 입원환자 증례발표, 사례바탕학습 시간에 조별 토의와 발표 평가 등이 학습자의 행위를 직접 관찰하면서 현장에서 평가를 하도록 하여 피드백과 평가의 현장성과 적시성을 강화하였다. 교수자가 포트폴리오 사용절차에 따라 자연스럽게 현장 피드백이 제공되도록 설계하여 행동유도성(technology affordance)을 강화했다[40].
2. 평가의 투명성과 준거 달성을 위한 학습자와 교수자의 노력
평가의 투명성과 교육효과성을 높이기 위해 사전에 평가 루브릭을 공개하고 루브릭을 바탕으로 평가하며 평가결과도 실시간으로 학생들이 확인할 수 있도록 하였다. 임상실습상황의 학습활동 중 핵심적이며 가장 중요한 교육이라고 규정한 외래기록지, 입원기록지, 술기 평가는 반드시 달성해야 하는 준거와 분할점수(cut-off score)를 사전에 결정하여 공지하고 이에 도달하지 못한 학생들은 재제출하도록 하였다. 재제출한 기록지를 다시 평가하여 모든 학생이 사전에 정한 점수 이상을 얻을 때까지 반복적인 기회를 주는 절대평가와 완전학습의 개념을 적용하였다[41]. 모든 평가와 피드백이 실시간으로 u-포트폴리오에서 확인 가능하므로 학습자가 보충학습, 기록지 재체출 등 즉각적인 후속조치를 할 수 있었다.
3. 성찰과 피드백에 대한 질 제고
모든 실습과정을 시작하기 전에 해당 과의 성과, 학습해야 하는 임상표현, 술기를 확인하고 학습계획을 세우도록 하였고 실습이 끝난 후 계획대로 되었는지, 성과를 달성하였는지 자기평가를 시행하도록 하였다. 자기평가와 함께 성찰일지를 작성하도록 했고 성찰일지는 졸업역량 중 하나의 주제를 정하여 일주일간 실습 중에서 소재를 정하여 작성하도록 하였다.
학생 성찰의 질을 높이기 위해 의과대학 6년 과정 중 세 번의 성찰에 대한 강의와 활동, 실습을 하였다. 교수자 피드백의 질을 높이고, 성찰을 위한 표준화된 피드백을 하기 위해 기존에 개발된 REFLECT (Reflection Evaluation for Learners’ Enhanced Competencies Tool) 루브릭을 번역하여 사용하고 교수개발을 하였다[42]. 학생들이 자신이 쓴 성찰일지에 대한 교수자의 피드백을 확인할 수 있도록 하여 학생과 교수자의 상호작용을 촉진하였다. 포트폴리오가 전산화 된 후에는 해당 과 실습이 종료된 이후에도 성찰에 대한 교수자의 피드백을 시스템에서 확인할 수 있어 학습자의 개선에 도움을 주었다.
4. 실시간 제출 및 평가현황 관리
학생은 자신의 제출 현황을 스스로 확인하고 누락된 학습활동이 없는지 점검할 수 있도록 하였다. 다양한 단위(전체, 병원별, 과별)의 임상실습 책임교수는 과 내의 모든 교수자의 평가현황을 프로그램 내에서 확인할 수 있어서 평가가 늦어지는 교수에게 평가를 독려할 수 있었다. 또한 평가가 필요한 제출 기록지 목록을 교수자의 첫 화면에 노출하여 적시에 평가할 수 있도록 유도하였고 개별 교수에게 일주일에 한 번 메일로 평가미비 현황을 알려주고 있다.
임상실습 담당교수는 교수자들에게 일일이 성적을 수거할 필요 없이 집계된 평가결과를 확인하는 것으로 과중한 업무를 줄일 수 있었다. 모든 평가 행위는 자동으로 계상되어 교수의 교육업적평가에 반영할 수 있도록 자료를 추출할 수 있어 행정업무 또한 줄어들었다.
5. 학습활동과 성과의 연결
역량바탕의학교육에서 성과와 학습활동을 연결하는 것은 이후 역량성취 여부를 측정하기 위한 중요한 기초작업이라는 인식하에 시기성과를 측정할 수 있는 학습활동을 정의하고, 이에 해당하는 기록지를 대응하여 포트폴리오가 모든 성과를 측정할 수 있도록 설계하였다. 역으로 모든 기록지에 태깅기능을 추가하고 학습자가 졸업역량, 임상표현, 필수환자군 등 다양한 태깅을 선택하여 표시하도록 하였다. 이후 목적에 따라 기록지마다 부여한 태깅값에 따라 검색이 가능해지고, 이를 학습통계와 성과 달성 시각화 및 활용을 위해 연구하고 있다. 이 기능을 통해 시기, 졸업 포트폴리오 작성 시에 학습자는 자신의 과거 활동을 검색하여 선별할 수 있게 된다.
2016년부터 u-포트폴리오를 내과 임상실습에 적용하였고 2년동안 5개 백병원 내과 교수들, 의학과 3학년 학생들이 해마다 개선되는 시스템을 사용하면서 피드백을 주고 더 나은 시스템을 만들어가는 데 기여하였다. 지속적인 개선과 고도화 작업을 위해 포트폴리오 개발업체와 연구개발을 지속하였다. 2018년부터 의학과 3학년 핵심과목 실습 전체로 확대하여 적용하였으며 2020년부터 의학과 4학년 필수, 선택과목 실습까지 u-포트폴리오를 사용하였다. 핵심 과목으로 확대되었을 때 외과계의 특수한 학습활동을 반영하여 수술참관기록지를 개발하였고 전공의, 간호사, 환자로부터 받는 360도 평가를 추가 개발하였다. 또한 학생인턴과 장기추적통합임상실습(Longitudinal Integrated Clerkship) 과정을 위하여 학습활동 중심의 기록지 배열이 아닌 환자 중심의 기록지 배열을 개발함으로써 임상실습현장의 모든 학습활동과 평가활동을 포함하기 위해 노력하였다.
인제의대는 임상실습 u-포트폴리오를 2019년 5월 의학교육학술대회 워크숍에서 소개하고 개발사와 함께 연구개발한 u-포트폴리오 시스템을 타 의과대학에 공개하기로 결정하였다. 2019년 10월 한국의과대학∙의학전문대학원협회(의대협회)의 교육위원회 내 학생평가 포트폴리오 컨소시엄을 조직하였고, 2020년부터 원하는 의과대학에서 시범사용 후 임상실습 포트폴리오를 도입할 수 있도록 하고 있다. 현재 19개 의과대학에서 임상실습 포트폴리오를 사용 중이며 31개 의과대학이 컨소시엄에 참여하고 있다.
결론
임상실습은 경험학습을 통해 지식을 실세계에 적용하고 의사로서 지식, 술기, 태도를 통합하는 중요하고 필수적인 교육과정이다. 경험학습은 정교한 교육설계가 있어야 교육효과를 극대화할 수 있다. 환자를 직접 만나서 진료하는 과정에서 임상추론을 연습하고 환자에게 실제 행해지는 술기를 익히고 관찰하는 학습경험이 임상실습의 핵심이다. 이런 임상실습경험으로 촉발되는 성찰은 전문가로서 스스로를 평가하고 개선하는 중요한 역량으로 다음에 더 나은 학습경험을 가능하게 한다. 학습자 중심의 능동적인 학습은 교수자의 피드백과 평가로 가능해진다. 교수자의 피드백과 평가는 학습자의 경험학습에 결정적인 영향을 주며 임상실습교육의 핵심적인 교수활동이다.
인제의대는 바쁜 임상현장에서 적시에 피드백이 이루어지게 하고 학습자가 능동적으로 학습활동에 임하게 하기 위해 이론적 연구를 바탕으로 u-포트폴리오를 개발하여 적용하였다. 임상실습 포트폴리오를 더욱 발전시켜 이를 바탕으로 의학과 3학년 핵심 임상실습기간 첫 한 달 후 포트폴리오평가를 하고 이후 멘토링을 제공하고 있다. 또한 6년 교육과정에서 시기, 졸업 포트폴리오를 작성하고 포트폴리오평가를 시행하여 전공의 선발 시에 성적표와 함께 결과를 제출하고 있다.
현재는 의대협회 컨소시엄에서 임상실습 포트폴리오를 고도화하고 시기, 졸업 포트폴리오에 대한 연구 및 개선을 함께 진행하고 있다. 컨소시엄의 이러한 노력은 우리나라 임상실습을 실제적인 경험학습교육모형으로 개선하는 데 기여할 것으로 기대한다.
Notes
Conflict of interest
이 연구에 영향을 미칠 수 있는 기관이나 이해당사자로부터 재정적, 인적 자원을 포함한 일체의 지원을 받은 바 없으며, 연구윤리와 관련된 제반 이해상충이 없음을 선언한다.
Authors’ contribution
연구설계: 윤보영, 이윤석, 이종태, 최익선; 자료수집: 윤보영, 이윤석, 권세정; 자료분석: 윤보영, 이윤석, 최익선; 논문작성: 윤보영, 이윤석, 권세정, 최익선; 논문검토: 이종태
Funding
본 논문은 2019년 인제대학교 학술연구조성비 보조에 의해 수행되었다.
Acknowledgments
2014년부터 함께 연구개발을 하며 새로운 길을 걸어온 세타랩 박기남 대표, 실습교육에 헌신적인 인제의대 임상실습 담당교수님들과 u-포트폴리오를 사용하면서 임상실습과정을 보낸 졸업생과 학생들에게 감사한다. 개발 초기의 불편한 u-포트폴리오를 사용하면서 주신 값진 피드백을 바탕으로 개선을 거듭하여 현재의 u-포트폴리오가 만들어질 수 있었다.
본 논문의 문헌고찰 단원은 제2저자의 2016년 박사논문의 내용을 포함하고 있다.
본 연구는 제4저자의 이전 소속기관인 미국 조지아대학(University of Georgia)의 연구위원회 승인을 받아 해당 기간에 이루어졌다.