Korean Med Educ Rev > Volume 25(3); 2023 > Article
의료시스템과학에서의 시스템사고 교육을 위한 교수설계

Abstract

Systems thinking, a linking domain of health systems science (HSS), is an approach that investigates specific problems from a holistic perspective. It supports improving patients’ health, fulfilling their health needs, and anticipating issues that threaten patient safety within the healthcare system. It also helps solve problems through critical thinking and reflection. This study aimed to develop an elective course on systems thinking, explore the effectiveness of the course, and investigate the applicability of HSS education at individual universities. In this study, the ADDIE (Analysis, Design, Development, Implementation, and Evaluation) model was utilized to design, develop, implement, and evaluate an elective course on systems thinking. In the design process, learning outcomes and goals were developed, and educational content, teaching-learning methods, and student evaluation methods were linked. In the development process, class materials and evaluation materials were prepared. In the implementation process, the course was implemented, and the evaluation process analyzed the results of learning performance and curriculum assessments. The evaluation found the following results. First, the students in the study realized the importance of systems thinking and experienced the need for systems thinking through non-medical and medical situations. Second, the students were very satisfied with the learning activities in the course (mean=4.84), and the results of the self-competence evaluation, conducted before and after the course, also showed a significant improvement. This study confirmed the effectiveness of the elective course, and its results can serve as a reference for developing an HSS curriculum .

서론

지난 100여 년 동안 기본의학교육은 기초의학과 임상의학이 두 축을 이루고 있었으나, 최근 의료시스템이 급격하게 복잡해짐에 따라 전통적인 의학이 실제 의료현장에 적용될 때 의료의 여러 문제를 해결할 수 없는 한계가 드러나면서 의학교육계는 의학교육의 새로운 관점과 접근방법을 모색하기 시작하였다[1,2]. 의학교육의 세 번째 기둥인 의료시스템과학(health systems science)은 이러한 변화를 주도할 수 있는 새로운 개념 틀로 미국에서 2013년 무렵 대두되었으며[3], 우리나라에서도 복잡해지는 의료시스템 안에서 예방 가능한 의료오류를 줄이고 환자안전과 질 높은 의료서비스, 그리고 의료시스템 개선을 위한 하나의 교육방안으로 관심을 갖기 시작하였다[4,5]. 의료시스템과학은 환자의 건강에 영향을 미치는 사회적 결정요인, 의료시스템의 구조와 과정, 건강정책, 의사소통, 의료정보기술 등을 포괄하는 개념이다[3]. 이는 곧 의사양성 교육에 있어 의사의 사회적 책무성 교육과 연결되며, 의료현실과 사회요구 사이의 간극을 줄일 수 있는 새로운 패러다임으로 이해되기도 한다.
미국의사협회(American Medical Association)의 의학교육 변화 촉진 컨소시엄(Accelerating Change in Medical Education Consortium)에서는 의료시스템과학을 핵심 영역, 기반역량 영역, 연결 영역으로 조직하였고, 핵심 영역의 구성요소를 (1) 환자, 가족과 지역사회, (2) 의료구조와 과정, (3) 의료정책과 경제, (4) 의료정보과학과 기술의 활용, (5) 인구, 공중, 사회적 건강 결정요인, (6) 가치기반 의료, (7) 의료시스템 개선으로 나누었다. 기반역량 영역은 (1) 변화관리, (2) 윤리와 법, (3) 리더십, (4) 팀워크 등으로, 연결 영역은 (1) 시스템사고로 구성하였다[3,6]. 핵심 영역은 환자의 진료경험, 가치관, 행동, 가족과 지역사회 영향을 고려한 환자 중심 접근을 통해 최상의 환자진료 결과를 위한 보건의료자원의 가치 있는 활용능력, 환자진료와 결과에 영향을 미치는 의료정책과 의료시스템의 경제적 측면에 대한 이해, 문제의 규명, 분석, 시행을 의미한다. 기반역량 영역은 의료시스템 개선을 위한 변화관리 주체의 역할로, 의료현장에서 필요한 윤리, 법적 쟁점에 대한 이해와 적용, 비전 달성을 위한 목표 수립 및 구성원의 동기를 이끌어낼 수 있는 역량, 목표달성을 위하여 다양한 구성을 팀에 참여시키고, 협력하는 역량을 의미한다. 연결 영역은 시스템 각 구성 부분의 역동적이며, 상호의존적인 연결로 나타나는 다방향적인 원인-인과관계를 인식하는 능력을 의미한다[6].
의료시스템과학의 연결 영역인 시스템사고는 특정 문제를 전체적인 관점에서 바라보는 접근법으로, 사안의 복잡성을 이해하기 위해 세부적인 여러 부분으로 나누는 것이 아니라 시스템 전체와 그 안의 관계를 활용하는 방법이다[3,6,7]. 시스템사고는 의료시스템과학의 핵심 영역과 하위 범주를 서로 아우르고 연결하며 의료문제에 대해 포괄적이고 총체적인 접근을 가능하게 한다[4]. 시스템사고는 개별 환자의 질병을 진료, 처방하는 것을 넘어 의료시스템 안에서 환자의 건강을 개선하고, 건강요구를 충족하며, 환자안전을 위협하는 문제를 예측하여 비판적 사고와 성찰을 통해 문제를 해결하도록 돕는다[8]. 이를 통해 복잡한 상호의존성에 주의를 집중하게 하고, 세부적인 것이 아니라 전체를 바라보게 하며, 모든 문제의 원인은 또 다른 시스템과의 역동적 관계로부터 온다는 다양한 인과관계를 인식하도록 한다[6]. 의과대학 학생들에게 교육과정의 이른 시기부터 체계적이고, 지속적인 시스템사고 교육을 장려하는 것은 매우 중요하다. 학생들은 다양한 사례의 문제해결을 위한 인지적 기술로 시스템사고를 활용할 수 있고, 환자 진료의 복잡성과 상호연결성의 맥락을 이해하고, 환자의 건강증진과 예방, 환자안전을 최적화하는 데 도움을 받을 수 있다[9].
국내・외 의과대학 학생들을 대상으로 하는 시스템사고 교육 사례에 대한 선행연구를 살펴보면 다음과 같다. 국내 연구를 살펴보면, 의예과와 임상실습 전 의과대학 학생들을 대상으로 시스템사고를 교육하기 위해 ‘Friday Night at ER’ (FNER) 보드게임을 활용한 교육 사례에서는 교육 전후 시스템사고가 향상되었음을 확인할 수 있었고[10], 학생들의 성찰일지를 분석한 결과 협력 및 데이터 기반의 의사결정, 혁신에 대한 중요성, 프로페셔널리즘, 의료현장에 대한 이해 등에 대한 중요성을 경험하였음을 확인하였다[11]. 국외 연구를 살펴보면, 펜실베니아 주립 의과대학은 의료시스템과학 교육을 임상 전 학년부터 가르치고 있으며, 의학과 1학년부터 의학과 4학년 학생을 대상으로 시스템사고 역량에 대한 이론, 종적인 환자 경험, 캡스톤 경험까지 체계적으로 가르치고 있다[12]. 선행연구에서는 시스템사고 교육이 단순 암기방식의 교육방식에서 벗어나 의료서비스 제공에서 발생하는 복잡한 적응형 문제에 반응할 수 있도록 구성되어야 하며, 이를 위해 미니강의, 워크숍, 환자 및 지역사회 기반 활동, 그룹 프로젝트와 같은 교육방식이 필요하다고 강조하고 있다[13-15]. 또한 시스템사고 교육은 모든 교육과정 영역과 통합할 수 있는 교육시스템으로 구축되어야 하며, 교육평가 역시 학생의 만족도 점수를 넘어 임상환경과 시스템 관련 프로젝트를 통해 습득할 수 있는 지식, 술기, 태도를 평가할 수 있는 평가도구를 개발하여 학습자가 의료현장에서 의미 있는 활동을 할 수 있는 기회를 제공할 수 있는 교육과정을 개발하는 것이 중요하다고 하였다[16-18].
저자들은 2022년 국민건강보험공단이 발주한 연구용역과제인 “의료시스템과학 교육 확산을 위한 교수개발 사업”의 연구진으로 참여하였고, 참여한 연구를 통해서 시스템사고 교육을 위한 교수설계 과정에 기반을 둔 교육과정 개발을 주도하였다[19]. 이에 본 논문에서는 상기 과제를 통해 진행된 의료시스템과학의 연결 영역인 시스템사고 교육을 위한 교육과정 개발을 요약하고, 이를 일개 의과대학에 적용한 경험을 통해 교육의 효과성과 개별 대학 단위에서의 의료시스템과학 교육 적용 가능성을 탐색해 보는 것을 목적으로 하였다.

의료시스템과학의 연결 영역인 시스템사고를 위한 교수설계

의료시스템과학의 시스템사고 영역에 대한 설계와 실행, 평가까지의 방법론은 교수설계 모형인 ADDIE 모형(Analysis, Design, Development, Implementation, Evaluation model)을 수용하여 체계적이고 단계적으로 진행하였다. ADDIE 모형은 교육과정에 대한 체제적 접근을 바탕으로 하여 교수학습 방법의 구성요소가 되는 학습자, 교수자, 교수내용, 실행, 평가를 포함하는 유기적인 과정이다[20,21]. Lee 등[6]이 수행한 7개 핵심 영역, 4개 기반역량 영역, 1개 연결 영역에 대한 분석(analysis)을 바탕으로 의료시스템과학의 연결 영역인 시스템사고 교육과정의 설계(design), 개발(develop), 실행(implement), 평가(evaluation)를 수행하여 다른 영역의 교수설계 역시 같은 방식을 적용할 수 있도록 하였다.

1. 설계(design)

1) 학습성과와 학습목표

시스템사고 영역의 학습성과 및 학습목표, 단계적 학습목표를 개발하기 위해 시스템사고의 문헌 연구결과를 통해 학습자의 요구를 파악하였으며[3,9-18,22-24], 이를 바탕으로 국내 전문가와 함께 워크숍을 진행하고 시스템사고에 대한 이해를 확장하였다. 전문가 워크숍에서는 국내・외 선행연구에서 활용하였던 FNER 시뮬레이션 보드게임을 연구진이 직접 실습해보고, 실제 다양한 의료 사례를 시스템사고로 분석할 수 있도록 Senge [23]의 시스템사고 원형 모델을 탐구하기 위해 시스템사고 전문가와 함께 사례 분석을 수행하였다[22]. 마지막으로 시스템사고에 대한 수업모형을 설계하고, 학습성과, 학습목표, 단계적 학습목표를 도출하기 위해 예방의학 전문가 그룹과 의료시스템과학 전문가 그룹 그리고 의학교육 전문가 그룹이 함께 모여 2일 동안 집중 워크숍을 진행하였고, 워크숍을 통해 시스템사고 학습목표에 따른 주요 교육내용과 교수-학습 방법, 학생평가 방법 역시 설계하였다. 시스템사고에 대한 학습성과는 ‘환자와 의료시스템의 복잡한 문제(다이나믹스, 상황, 상호작용, 관계의 역동성 고민해보기)를 시스템사고를 통해 이해하고 분석하여 해결할 수 있다’로 정의하고 하위에 두 개의 학습목표를 두었다. 각 학습목표는 다시 7개의 단계적 학습목표(enabling objectives)로 세분하고 수준에 따라 의과대학 시기에 맞추어 적절한 교육시기를 제안하였다(Table 1).
첫 번째 학습목표는 ‘시스템사고를 정의하고 시스템사고를 이용하여 복잡한 문제를 체계적으로 분석할 수 있다’로, 주로 전(前) 임상단계의 교육과정에 적용할 수 있도록 정의되었다. 이 목표는 학생들이 시스템사고의 필요성과 개념을 이해하고, 지역사회에서 나타나는 비의료적인 문제를 다루면서 시스템사고를 시각화하는 훈련에 초점을 맞추도록 하였다. 두 번째 학습목표는 ‘환자와 의료의 복잡한 문제를 분석하고 해결하기 위해 시스템사고를 적용할 수 있다’로, 훈련된 시스템사고를 바탕으로 실제 환자와 의료 문제를 분석하여 해결책을 모색할 수 있는 능력을 강화하기 위해 구성하였다.
학습목표는 의과대학에서 운영하고 있는 기존 교육과정(예방의학, 사회의학, 의료인문학 등)과의 연계를 위해 단계적 학습목표 중 선수과목이 있을 것으로 예상되는 과목을 별도로 표시하였고, 단계적 학습목표와 관련해 기존 과목이나 과정에서 운영하고 있는 내용은 각 학교의 상황에 맞춰 선택할 수 있도록 구성하였다. 이를 통해 기존 교육과정을 보완하거나 새로운 과목 혹은 과정을 개발하는 데 도움이 될 수 있도록 구성하였다(Table 1).

2) 주요 학습내용, 교수-학습 방법, 학생평가 방법

시스템사고 영역에 대해 개발한 성과와 학습목표, 단계적 학습목표를 중심으로 주요 학습내용과 교수-학습 방법, 학생평가 방법을 개발하여 제시하였다(Table 1). 단계적 학습목표에 대해 구체적인 학습내용을 제안하고, 이를 학습자에게 효과적으로 전달할 수 있도록 적절한 교수-학습 방법을 제안하였다. 또한 학습목표의 달성 여부를 측정할 수 있는 학생평가 방법도 제시하였다.
시스템사고 개념을 이해시키기 위한 기초 강의를 제공하고, 개념을 심화하기 위한 소그룹 학습을 배치하였다. 학생들의 참여를 촉진하고, 시스템사고를 간접 경험하기 위해 시뮬레이션 보드 게임(FNER)을 도입하여, 의료시스템 문제를 해결하기 위한 시스템사고의 필요성을 강조하였다. 보다 심화된 문제인식 이후 사례를 바탕으로 하는 문제해결을 위해 소그룹 학습과 프로젝트 학습을 방법으로 제시하였고[9-11], 기반 역량인 리더십과 팀워크를 활용하여 시스템사고 학습을 진행할 수 있도록 하였다. 대부분의 수업은 소그룹 토의와 함께 실제 인과관계 및 피드백 루프를 반복하여 학생들이 시스템사고 능력을 갖출 수 있도록 설계하였다. 또한 소그룹 활동을 통해 의료상황에서의 복잡한 문제 해결은 동료들과 서로 협력하고 소통해야 함을 경험하도록 하였다. 경험 학습 이후 진행되는 성찰은 학습목표를 달성하기 위한 중요한 수단이며, 습득한 지식과 이론을 실제적 문제를 해결하는 데 효과적으로 적용하고 응용하기 위해서는 성찰을 통해 자신이 어떻게 사고하며, 사고해야 하는지에 대한 이해가 중요하다고 할 수 있다[24,25]. 이와 같이 성찰 글쓰기를 통해 생각을 정리하고 견해를 밝히며 글을 통해 자신의 생각을 논리적으로 표현하도록 유도하였다.
학생평가 방법은 촉진자(facilitator)로 소그룹 학습에 참여하는 교수자의 직접 관찰, 개념에 대한 논술형 시험, 조별 활동 결과물과 발표 평가, 성찰 일지 등으로 구성하였다. 소그룹 활동을 통해 팀워크를 유인하고 시스템사고의 필요성을 개별 단위, 팀 단위로 충분히 성찰하여 사고의 변화를 가져오도록 유도하고 리더십 능력을 확인할 수 있도록 하였다.

3) 과정 평가

시스템사고 교육과정의 효과성을 평가하기 위해 Kirkpatrick [26]의 4단계 평가모형 중 단기성과 달성 여부를 살펴보기 위한 반응과 학습단계인 1단계와 2단계를 적용하였다. 1단계에서는 시스템사고 교육에 대한 학습자의 반응을 평가하기 위해 과정 만족도 설문을 이용하였고, 2단계에서는 학생평가 결과와 학습자의 자기평가를 통한 학습성취 정도를 평가하였다. 이러한 1, 2단계 결과를 종합하여 시스템사고 교육과정의 효과성을 평가하였다.

2. 개발(development)

연구진은 개발한 교육과정을 인제대학교 의과대학(인제의대) 의학과 1학년의 선택과정으로 진행할 수 있도록 계획하였다. 인제의대는 7–8주의 통합과정을 마친 후 1주일간의 재학습 또는 선택과정을 제공하며, 일주일 동안 하루 2시간씩 총 10시간의 선택과정을 운영하고 있다. 이 연구에서는 시스템사고 교육과정을 파일럿으로 운영하기 위해 2023년 4월 24일부터 4월 28일까지 5일간 의학과 1학년 선택과정 기간에 ‘시스템사고’ 교과목을 개설하여 수업계획서와 단위 수업계획서에 따라 수업을 운영하였다(Appendix 1).
“의대생을 위한 시스템사고 훈련”이라는 제목으로 시스템사고의 개념과 임상추론 및 시스템사고, 의료시스템과학에서의 시스템사고 역량 등으로 시각화 자료와 수업교재를 개발하였다. 소그룹 활동을 위해 시스템사고와 관련한 사회, 정치 분야의 다양한 사례를 준비하였다. 시뮬레이션 게임을 통한 학습동기 부여를 위해 시뮬레이션 보드게임(FNER)을 수업도구로 활용하였고, 게임 후 심화된 문제를 분석하고 해결하기 위한 시스템사고 원형 루프 모형과 실제 의료계 사례를 준비하였다. 학습자 평가를 위한 사례 분석 평가표(Appendix 2)와 성찰 글쓰기 평가표(Appendix 3)를 개발하였으며, 학습자의 반응을 평가하기 위한 설문지(Appendix 4)와 자기평가 도구(Appendix 5)도 개발하여 준비하였다.

3. 실행(implementation)

시스템사고 교육과정을 실행하기 위해 인제의대 학생 7명을 대상으로 하는 선택과정을 진행하였다. 수강생 7명은 의예과 교양과정과 기초통합과정을 마치고 ‘인제플랫폼 과정’을 통해 ‘의사역량계발과정’, ‘생애주기와 건강’, ‘사회와 건강’ 등의 과정을 수강하였다. 본격적인 계통별 기초-임상통합과정에 진입하기 전 상태로 시스템사고 교육과정에 참여하였다. 의예과 1학년 프로젝트 수업을 통해 프로젝트 수행을 위한 시스템사고 개념을 이미 학습한 경험이 있으며 ‘사회와 건강’ 과정을 통해 예방의학의 총론을 배우고 문제바탕학습을 통해 임상추론에 대한 경험을 쌓았다. 뿐만 아니라 표준화 환자와 함께 하는 환자면담 실습을 통해 문제인식 방법에 대한 경험이 있고, 포트폴리오 작성을 위해 의예과 1학년부터 매달 성찰 글쓰기를 하고 있는 학생들이다. 이러한 기반 지식과 학습경험을 바탕으로 시스템사고 수업에 참여하였다.
시뮬레이션 게임과 시스템 루프 그리기 등 소그룹 활동이 가능한 공간을 확보하였다. 강의에 필요한 슬라이드는 사전에 학습자에게 배포하였으며, 조별로 학생들이 자유롭게 그림을 그리고 수정할 수 있도록 종이, 화이트보드, 펜을 준비하였다. 보다 자유로운 분위기에서 본인의 생각과 의견을 말할 수 있도록 교수자는 수평적 분위기를 형성하도록 하였으며, 복수의 교수자 및 퍼실리테이터가 상호작용하며 공동으로 진행하고 학생의 토의를 촉진하였다. 학생의 편의성을 위해 성찰 글쓰기는 기존 포트폴리오 시스템을 통해 제출할 수 있도록 하였다. 실제 진행한 수업내용은 다음과 같다(Table 2).

4. 평가(evaluation)

1) 교육 만족도 평가결과

시스템사고 교육과정 종료 후 Kirkpatrick의 4단계 평가모형 중 1단계인 ‘학습자 반응’을 평가하기 위하여 교육 만족도 평가를 진행하였다. 설문지는 6문항으로 구성되었으며, 각 문항에 관한 결과는 (1) 교수자는 내가 충분히 의견을 말할 수 있도록 유도하여 활동을 촉진하였다(mean=5.00), (2) 실습과 팀 활동은 내용을 이해하고, 적용하는 데 도움이 되었다(mean=4.86), (3) 학습방법(게임, 팀 활동, 강의 등)은 내용 이해와 학습목표에 적합하도록 구성되었다(mean=4.86), (4) 수업은 내가 몰입할 정도로 충분히 흥미로웠다(mean=4.86), (5) 수업은 수업계획서에 따라 진행되었다(mean=4.86), (6) 나는 시스템사고 선택과목에 전반적으로 만족한다(mean=4.57)이며, 총 6개 문항에 대한 교육 만족도 전체 평균은 4.84점으로 매우 높은 만족도를 보였다(Table 3). 반면, 학생들은 수업내용이 많아 10시간 안에 전부 소화하기 어려웠다는 의견과 선택과목보다는 필수과목으로 제공하여 많은 학생에게 기회가 돌아가는 것이 좋겠다는 의견을 제시하였다.

2) 학습자 역량 성취 평가결과

Kirkpatrick의 4단계 평가모형 중 2단계인 ‘학습’을 평가하기 위하여 학습자 자기역량평가와 학생평가 결과를 사용하였다. 학습자 자기역량평가는 시스템사고 수업 전후를 비교하여 학생 스스로 4개 문항에 대해 평가하도록 하였다. 4개 문항은 지식을 평가하는 ‘미래 의사인 나에게 시스템사고가 필요함을 설명할 수 있다’, ‘시스템사고의 대표적 원형을 이해하고, 각 원형의 예시를 들 수 있다’의 2개 문항이며, 지식을 응용하는 문항은 ‘주어진 사례의 복잡한 관계를 인과관계와 피드백 루프로 표현할 수 있다’, ‘주어진 사례에서 시스템사고를 시각화 한 후 적절한 해결책을 모색할 수 있다’의 2개 문항이다. 학습자 자기역량 평가결과, 학생들은 전 항목에 걸쳐 과정 종료 후 시스템사고와 관련한 자신의 역량이 크게 향상되었다고 평가하였다(Figure 1).
학생평가는 (1) 시스템사고를 이용한 사례 분석 평가, (2) 성찰 글쓰기 평가로 이루어졌다. 시스템사고를 이용한 사례 분석 평가는 의료 현장에서 경험할 수 있는 두 개의 사례를 가지고 두 개 조로 평가되었다. 시스템사고를 이용한 사례 분석 평가는 4일차 수업시간에 학생들에게 시스템사고를 기반으로 하는 의료 사례를 제시하고, 인과관계와 피드백 루프를 이용하여 이를 시각화할 수 있도록 과제를 부여하였다. 수업 종료 후 연구진이 개발한 시스템사고를 이용한 사례 분석 평가표를 이용하여 지식, 술기, 태도를 종합적으로 평가하였다. 평가결과, 학생들은 한 항목을 제외한 모든 항목에서 만족할 만한 점수(4점 이상)를 받았다(Appendix 6). 성찰 글쓰기 평가는 전체 교육과정 종료 후 수행되었으며, 연구진이 개발한 평가표에 따라 2인의 서로 다른 평가자가 평가하였으며, 성찰일지를 주제에 따라 분석하였다. Table 3과 같이 7명 학생의 성찰 글쓰기 평가결과, 총점 평균 3.8점으로 성찰을 통해 시스템사고의 효용과 필요성에 대해 확실히 인지하고 있음을 확인할 수 있었다(Appendix 7).
이상의 과정으로 의료시스템과학의 연결 영역인 시스템사고 교육을 위한 교육과정을 개발하기 위해 교수설계모형에 따른 설계, 개발, 실행, 평가절차를 진행하였으며, 일개 의과대학을 대상으로 교육의 효과성과 의과대학에서의 적용 가능성을 분석하였다.

결론

의료시스템과학 교육과정이 체계화되어 구축된 국내 사례는 아직 없고, 연결 영역의 시스템사고 교육을 위한 교육과정 역시 활발하게 진행되지 못하고 있다[6]. 저자들이 문헌분석 및 전문가 논의를 통해 개발한 교육과정을 일개 대학에 적용한 경험은 초기의 경험이고 일반화하기에는 여러 제한점을 가지고 있으나, 다음과 같은 시사점을 가진다고 할 수 있다.
의료시스템과학의 시스템사고 교육은 단순 암기의 지식습득으로 성취되는 것이 아닌 시스템사고를 간접적으로 경험할 수 있는 시뮬레이션 게임, 실제 의료 사례를 바탕으로 하는 시스템사고 원형 모형 분석, 이를 활용한 토론과 학생의 성찰 등 경험을 중요하게 받아들이는 학습자 중심의 수업형태가 필요하다. 이는 의료시스템과 환자 사이의 다양한 상호작용과 요인 그리고 맥락이 중요하다는 점에서 단순 암기방식의 교수-학습방법에는 한계가 있으며, 의료전달체계 안에서 발생하는 복잡한 적응형 문제에 적용할 수 있는 교육으로 전환되어야 한다는 기존 선행연구 결과에서 주장한 것과도 같다[13]. 또한 주변에서 쉽게 경험하는 사회, 정치적 문제와 임상에서 경험할 수 있는 다양한 사례들을 제시하여, 시스템사고 원형 모형을 통해 문제해결 과정을 연습하고 팀 프로젝트를 통해 해결방안을 제안하는 수업은 학생들에게 의미 있는 학습경험이 될 수 있다는 것을 다양한 평가결과를 통해 확인할 수 있었다. 교육과정 평가결과, 연구 참여 학생들의 과정 만족도가 매우 높았으며, 과정 전과 과정 후에 시행한 자기역량평가 결과 역시 향상되었음을 확인할 수 있었다. 이를 통해 영역 학습성과, 학습목표, 주요 학습내용, 교수-학습 방법, 학생평가 방법 등 체계적으로 개발된 교육과정의 효과성을 확인할 수 있었다. 앞서 기술한 것과 같이 교육 필요성과 현황에 대한 분석(analyze) 단계에 근거한 설계(design), 개발(develop), 실행(implement), 평가(evaluate)의 절차를 따르는 ADDIE 교수설계 모형에 따라 각 영역별 교육과정을 진행할 경우 개별 학교에서도 충분히 의료시스템과학 교육을 운영하고 적용할 수 있는 가능성 역시 확인할 수 있었다.
앞으로 추가 연구를 통해 의료시스템과학의 다양한 영역에 대해 체계적인 교육과정 개발작업을 지속할 필요가 있다. 저자들의 선행연구에서는 시간적 제약으로 인한 교육과정 효과성 평가모형 중 1, 2단계 평가만 진행할 수 있었기 때문에[19], 보다 의미 있는 교육과정 평가결과를 도출하기 위한 장기 성과평가(3단계 행동평가, 4단계 결과평가)가 필요하다.
비록 적용경험이 많지는 않지만 저자들의 선행연구 결과는 영역에 맞는 분야에 따라 관련 전문가와 함께 교육과정을 개발하거나 이미 운영되고 있는 유사한 교육과정을 개편하는 데 유용한 가이드라인이 될 수 있다. 또한 개발한 예시와 사례 등을 온라인 플랫폼에 공유하거나 개별 대학에서 개발하여 운영한 교육과정 사례 등도 공유할 수 있다면 보다 효율적으로 의료시스템과학 교육을 확산시킬 수 있을 것이라 예상한다.

Acknowledgments

“의료시스템과학 교육 확산을 위한 교수개발 사업”을 함께 수행한 모든 연구진께 감사드린다.

NOTES

Funding

이 연구는 국민건강보험공단의 연구비 지원으로 이루어졌다(관리번호: 2022-2-0031).

Authors’ contribution

연구설계: 김세진, 이상미, 이단비, 윤보영; 연구 수행: 김세진, 이상미, 이단비, 윤보영; 자료수집: 김세진, 이상미, 이단비, 윤보영; 자료분석: 김세진, 이상미, 이단비, 윤보영; 논문 작성: 김세진, 이상미, 이단비, 윤보영

Figure 1.
Differences in learners’ self-competency assessment results for systems thinking abilities.
kmer-23-023f1.jpg
Table 1.
Instructional design for systems thinking, a linking domain of health systems science
Outcome Learning objective Enabling objective Content Phase Teaching-learning method Assessment method
Understand, analyze, and solve complex problems for patients and healthcare systems (dynamics, context, interactions, and relationships) through systems thinking Define systems thinking and systematically analyze complex problems using systems thinking Define systems thinking and visualize complex relationships - Definitions of systems thinking: horizontal/vertical comparison, reduction structure , holistic wave thinking, causal thinking, and feedback thinking 1, 2 Lecture, small group learning Essay test, observation
- A bird’s eye view of systems thinking, organizing principles, and procedures
- Structures and characteristics of toolbox for systems thinking: negative causality, positive causality, interdependence, etc.
Explain major archetypes of systems thinking with examples - Cases for utilizing and extending the concepts of systems thinking 1, 2 Lecture, small group learning Group activity, observation
- Examples of feedback loops by applying systems thinking in everyday life
(1) Limits to growth
(2) Balancing action with delays
(3) Shifting the burden
(4) Solutions with opposite results
(5) Tragedy of the commons
(6) Unintentional antagonism
(7) The success of successful people
(8) Self-fulfilling prophecies, self-fulfilling prophecies 
Apply systems thinking to analyze and solve complex problems in patients and healthcare systems Explain the necessity of systems thinking to solve individual patient problems and complex problems in the healthcare system - The necessity of systems thinking in healthcare through a simulation game 1, 2, 3 Simulation game, small group learning Reports, reflection
- Reflections on systems thinking through failures and successes in a simulation game (linear vs. systems thinking)
Diagram complex healthcare problems by applying archetypes of systems thinking - Feedback loops for cases of linear and systems thinking including complex relationships in healthcare system 1, 2, 3 Small group learning Group activity, observation
- Examples of medical issues in Korea (medical crisis, medical school capacity, equalized regional selection system, absolute evaluation methods in medical schools, admissions policy, physician aptitude issues, medical student issues, training of physician scientists, etc.)
- Common feedback loops in systems thinking
Analyze cases of the healthcare system using systems thinking and represent its structures and relationships - Examples of systems thinking and its relationships within healthcare system (including various stakeholders) 2, 3 Small group learning Group activity, observation
- Examples of the habit of thinking as a system and explain its application in healthcare
Provide strategies or methods to solve problems using systems thinking as a healthcare professional within the healthcare system - Dynamics and relationships with the cases presented 2, 3 Small group learning, project-based learning Group activity, reflection journal
- Stakeholders within the dynamics
- Solutions for each stakeholder in the dynamics
- Solutions and directions for stakeholders in complex situations
Identify a case that requires systems thinking in patient care, analyze the problem, represent structures and relationships, and propose a solution - Structure of systems thinking in patient care 3 Project-based learning Group activity, individual activity, reflection journal
- Importance of systems thinking in general and its applications to patient care
- Examples of applying and analyzing cases

Phase 1, pre-medical course; Phase 2, pre-clinical course; Phase 3, clinical course.

Table 2.
Implementation of an elective course on systems thinking
Day Contents
Day 1 (2023/04/24) 1. Orientation
2. (Special lecture) Importance of systems thinking in health systems science
3. Discussion
Day 2 (2023/04/25) 1. “Friday Night at the ER” simulation game (how to play)
2. Simulation game
3. Debriefing
Day 3 (2023/04/26) 1. Causal relationships and feedback loops for systems thinking (how to represent)
2. Understanding Senge’s 8 archetypes and drawing loops
Day 4 (2023/04/27) 1. Representing causal relationships and feedback loops for a medical case
2. Finding leverages to solve problems in the case
3. Feedback and evaluation
Day 5 (2023/04/28) 1. Representing systems thinking for the simulation game
2. Group discussion (identifying leverages that were failed or successful strategies in the game)
3. Reflective writing assignment
4. Class evaluation
Table 3.
Evaluation results of the systems thinking course
Kirkpatrick’s 4 levels of evaluation Assessment method Results of the assessment Cut-off Effectiveness
Step 1: reaction Survey 4.84 4.5 +
Step 2: learning Self-competency assessment 4.07 4.0 +
Case analysis using systems thinking 82.5 (group 1) 80.0 +
85.0 (group 2)
Reflection essay 3.8 3.0 +

REFERENCES

1. Borkan JM, Hammoud MM, Nelson E, Oyler J, Lawson L, Starr SR, et al. Health systems science education: the new post-Flexner professionalism for the 21st century. Med Teach. 2021;43(sup2):S25-S31. https://doi.org/10.1080/0142159X.2021.1924366
crossref
2. Gonzalo JD, Chang A, Dekhtyar M, Starr SR, Holmboe E, Wolpaw DR. Health systems science in medical education: unifying the components to catalyze transformation. Acad Med. 2020;95(9):1362-72. https://doi.org/10.1097/ACM.0000000000003400
crossref pmid
3. Skochelak SE, Hammoud MM, Lomis KD, Borkan JM, Gonzalo JD, Lawson LE, et al. AMA education consortium: health system science. 2nd ed. Philadelphia (PA): Elsevier; 2021.
4. Lee YM. The third pillar of medical education: health systems science education. In: National Academy of Medicine of Korea, editor. A study of future healthcare prospects. Seoul: Ssoulgihoeg; 2018. p. 596-609.
5. Jeon WT. Health systems science. Korean Med Educ Rev. 2018;20(1):60-1. https://doi.org/10.17496/kmer.2018.20.1.60
crossref
6. Lee JT, Yang EB, Lee YM, Chae YM, Na SH, Jang SI, et al. Construction of a health systems science education for integrating social healthcare needs into the medical practice. Wonju: National Health Insurance Service; 2021.
7. Anderson V, Johnson L. Systems thinking basics: from concepts to causal loops. Arcadia (CA): Pegasus Communications; 1997.
8. Yang EB, Kang SH, Lee SM, Jung JY, Lee DB, Lee JT. A study on medical education themes and case development for reinforcement of social accountability in healthcare. Seoul: Korea Medical Association, Research Institute for Healthcare Policy; 2022.
9. Lee ST, Park KH. The effect of improving system thinking and innovative behavior of hospital staff using tabletop simulation. Health Commun. 2022;17(1):57-62. https://doi.org/10.15715/kjhcom.2022.17.1.57
crossref
10. Park KH, Park KH, Park IB. The effectiveness of a teamwork improvement program for premedical students. Health Commun. 2021;16(2):207-14. https://doi.org/10.15715/kjhcom.2021.16.2.207
crossref
11. Lee SM, Park KH. Do simulation games help to promote systems thinking for preclinical medical students? Korean J Educ Res. 2022;60(5):169-92. https://doi.org/10.30916/kera.60.5.169
crossref
12. Gonzalo JD, Ogrinc G. Health systems science: the “Broccoli” of undergraduate medical education. Acad Med. 2019;94(10):1425-32. https://doi.org/10.1097/ACM.0000000000002815
crossref pmid
13. Colbert CY, Ogden PE, Ownby AR, Bowe C. Systems-based practice in graduate medical education: systems thinking as the missing foundational construct. Teach Learn Med. 2011;23(2):179-85. https://doi.org/10.1080/10401334.2011.561758
crossref pmid
14. Gonzalo JD, Thompson BM, Haidet P, Mann K, Wolpaw DR. A constructive reframing of student roles and systems learning in medical education using a communities of practice lens. Acad Med. 2017;92(12):1687-94. https://doi.org/10.1097/ACM.0000000000001778
crossref pmid
15. Mann KV. Theoretical perspectives in medical education: past experience and future possibilities. Med Educ. 2011;45(1):60-8. https://doi.org/10.1111/j.1365-2923.2010.03757.x
crossref pmid
16. Gonzalo JD, Lucey C, Wolpaw T, Chang A. Value-added clinical systems learning roles for medical students that transform education and health: a guide for building partnerships between medical schools and health systems. Acad Med. 2017;92(5):602-7. https://doi.org/10.1097/ACM.0000000000001346
crossref pmid
17. Gonzalo JD, Graaf D, Johannes B, Blatt B, Wolpaw DR. Adding value to the health care system: identifying value-added systems roles for medical students. Am J Med Qual. 2017;32(3):261-70. https://doi.org/10.1177/1062860616645401
crossref pmid
18. Gonzalo JD, Dekhtyar M, Hawkins RE, Wolpaw DR. How can medical students add value?: identifying roles, barriers, and strategies to advance the value of undergraduate medical education to patient care and the health system. Acad Med. 2017;92(9):1294-301. https://doi.org/10.1097/ACM.0000000000001662
crossref pmid
19. Lee JT, Yang EB, Kim S, Kim E, Na SH, Shim SH, et al. Designing a faculty development program for the implementation and diffusion of health systems science education. Wonju: National Health Insurance Service; 2023.
20. Park SI, Lim CI, Lee JK, Choi JI. Understanding the pedagogy of instructional methods. Paju: Kyoyookbook; 2015.
21. Branch RM. Instructional design: the ADDIE approach. New York (NY): Springer; 2009.
22. Kim DH. Systems thinking: thinking as a system. Seoul: Sunhaksa; 2004.
23. Senge PM. The fifth discipline: the art and practice of the learning organization. New York (NY): Doubleday; 2006.
24. Schon DA. The reflective practitioner: how professionals think in action. New York (NY): Basic Books; 1983.
25. Westberg J, Jason H. Fostering reflection and providing feedback: helping others learn from experience. New York (NY): Springer Publishing Company; 2001.
26. Kirkpatrick DL. Evaluating training programs: the four levels. San Francisco (CA): Berrett-Koehler Publishers; 1994.

Appendices

Appendix 1.

의료시스템과학-시스템사고 수업계획서(선택과정) 예시

kmer-23-023-app1.pdf
Appendix 2.

학생평가 도구: 시스템사고를 이용한 사례 분석 평가표

kmer-23-023-app2.pdf
Appendix 3.

학생평가 도구: 성찰 글쓰기 평가표

kmer-23-023-app3.pdf
Appendix 4.

학습자 만족도 설문지

kmer-23-023-app4.pdf
Appendix 5.

학습자 자기평가 도구

kmer-23-023-app5.pdf
Appendix 6.

시스템사고를 이용한 사례 분석 평가결과

kmer-23-023-app6.pdf
Appendix 7.

학생평가 도구: 수용할만한(3점) 이상의 성찰 글쓰기 내용

kmer-23-023-app7.pdf


Editorial Office
Yonsei University College of Medicine, 50-1 Yonsei-ro, Seodaemun-gu, Seoul 03722, Korea
Tel: +82-2-2228-2514   Fax: +82-2-364-5450   E-mail: kmer@yuhs.ac                

Copyright © 2024 by Yonsei University College of Medicine.

Developed in M2PI