Article information

Korean Med Educ Rev. 2021;23(3):185-193

doi : https://doi.org/10.17496/kmer.2021.23.3.185

Hye-Yoon Lee, So-Jung Yun, Sang-Yeoup Lee, Sunju Im

이 혜윤, 윤 소정, 이 상엽, 임 선주

Corresponding author Sunju Im Department of Medical Education, Pusan National University School of Medicine, 49 Busandaehak-ro, Mulgeum-eup, Yangsan 50612, Korea Tel: +82-51-510-8021 Fax: +82-51-510-8125 E-mail: sunjuim11@hanmail.net

Received 2021 February 08; Revised 2021 June 16; Accepted 2021 July 08.

Abstract

서 론

의과대학생들은 임상실습 전에 기본 임상술기를 습득하는 것이 필요하다. 임상실습 전 시기(pre-clinical phase)에는 기초의학과 임상의학에 대하여 주로 강의실에서 교육이 이루어지는 반면, 임상실습(clinical phase)은 병원 현장에서 환자를 통해 학습이 일어나기 때문이다. 임상실습에 진입하는 순간 학생들은 환자와 직접 대면하여 임상술기를 시행해야 한다. 따라서 학생들은 효과적인 임상실습을 수행하기 위해서 뿐만 아니라 환자 안전 측면에서 실습 전에 기본 임상술기를 습득해야 하고, 학교는 학생들이 습득했는지 평가해야 한다.

표준화환자(standardized patient)를 활용한 실기시험은 3, 4학년에서 주로 시행되지만, 최근 임상실습 전 교육의 평가에 시행되기도 한다. 학교는 실습 전에 표준화환자를 활용한 교육과 평가를 시행하여 임상실습으로의 전환을 원활하게 유도하고, 임상실습입문 교육 후에 실기시험을 활용하여 학생의 실습 전 술기능력을 점검하기도 한다[1-3]. 그러나 임상실습 전에 시행되는 실기시험을 4학년 학생들과 동일한 형태로 시행한다면 과연 타당한지 의문이 있다.

타당도는 검사 또는 측정도구가 본래 측정하고자 하였던 것을 충실히 측정하고 있는지를 나타내는 지표로, 측정점수에 가치를 부여할 뿐만 아니라 비용 또는 실행 가능성 등의 실행 측면을 포함한다. 전통적으로 ‘적합성’을 나타내는 타당도를 ‘일관성’을 나타내는 신뢰도와 구별하고, 준거타당도(예측타당도, 공인타당도), 내용타당도, 구인타당도 등으로 구분하여 설명하여 왔으나, 최근 다양한 종류의 타당도를 통합하려는 시각이 제시되어 왔다[4-6].

Messick [6]은 타당도를 여러 가지 측면, 즉 내용(content), 응답과정(response process), 내적 구조(internal structures), 일반화 가능도(generalizability), 다른 변수와의 상관성(relations to other variables), 영향(consequences)의 6가지 근거를 수집하여 종합적으로 판단하고자 하였다. 그러나 미국교육연구학회, 미국심리학회, 미국교육측정협회는 신뢰도(reliability) 또는 일반화 가능도를 타당도에 함의를 주는 점수의 특성으로 간주하고 있고, 연구자들은 타당도 내에서 신뢰도 관련 증거를 제시하고 있다[7]. 예를 들어 의료인 교육의 연구에서는 신뢰도 또는 일반화 가능도를 ‘내적 구조’에서 제시하면서, 총 5가지의 타당도 증거를 ‘Messick의 타당도 틀(Messick’s validity framework)’이라 부르고 있다[4,8-11]. 이 타당도 틀은 내용적인 측면에서 시험의 내용은 측정하고자 하는 것을 충실히 포함하는지, 시험의 응답과정은 점수로 나타나기까지 질적으로 통제되는지, 시험의 내적 구조는 신뢰성 있게 구성되어 있는지, 같은 구인을 측정하는 다른 시험과 연관성이 있는지 또는 다른 구인을 측정하는 시험과 구별이 되는지, 학생, 교육자 또는 교육기관에 긍정적 또는 부정적으로 미친 영향은 무엇인지를 평가한다(Table 1). Messick의 타당도 틀은 타당도를 각각 평가하기보다 전반적으로 시험의 적합성을 분석하는 평가 틀을 제공하는 장점이 있다.

Table 1.

Messick’s five sources of validity evidence and their implementation in this study

현재까지 국내에서는 임상실습 전 실기시험에 대한 보고가 드물고, 실기시험은 3, 4학년을 대상으로 주로 시행되고 연구되고 있으며, Messick의 타당도 틀을 활용하여 타당도를 연구한 사례가 없다. 해외에서도 타당도 틀을 사용한 분석이 늘어나고 있으나 임상실습 전 실기시험의 타당도 분석에서 타당도 틀을 사용한 사례는 드물다.

따라서 본 연구는 임상실습 전에 시행되는 실기시험의 타당도를 Messick의 틀을 사용하여 체계적으로 조사하고자 한다. 구체적인 연구문제는 다음과 같다. (1) 실기시험의 평가내용은 2학년 학생들의 수행능력을 평가하기에 합당한가? (2) 실기시험 과정은 질적으로 통제되었는가? (3) 실기시험의 내적 구조는 신뢰성을 확보하고 있는가? (4) 실기점수는 다른 측정점수와 관련이 있는가? (5) 실기시험은 학생, 교수 또는 교육에 어떤 영향을 미쳤는가?

연구대상 및 방법

결 과

1. 내용타당도

실기 사례는 출제계획표대로 선정하여 개발하였다. 1차 사례 작성은 실기시험 사례 개발의 경험이 있는 해당 분야의 전문가가 수행하였다. 이후 12명의 전문가 집단이 토의를 통해 사례를 수정하여 최종 개발을 완료하였다. 사례 개발이 완료된 후, 표준화환자를 대상으로 교육을 시행하고, 드레스 리허설을 통해 제대로 표현이 되었는지 점검하였다. 평가항목에 대한 교육이 시행된 교육방법을 조사한 결과 OSCE 항목은 실제 소그룹 실습으로 진행된 경우가 많았으나 CPX는 강의식으로 교육이 이루어졌다(Table 2).

Table 2.

Matching assessment cases with teaching of second year

3. 내적 구조

1) 기술통계

첫째 날의 12가지 사례 중 자궁경부 펴바름(Papanicolaou smear) 의 평균 점수가 가장 높았고(85.1±10.6), 실신이 가장 낮았다(49.2±9.8). 둘째 날 평균 점수가 높은 사례는 질분비물 검사(84.4±11.3), 평균 점수가 낮은 사례는 두근거림이었다(50.0±11.4). 세부영역별 평가결과를 살펴보면, 신체진찰 점수와 환자 교육 점수가 낮은 편이었다. OSCE는 CPX보다 높은 점수를 보였다(Table 3).

Table 3.

Scores of 12-case CPX/OSCE (n=128)

2) 영역별 상관분석

상관 정도의 해석은 Dancey와 Reidy [13]가 제시한 기준에 따라 ｜r｜<0.1은 없음, 0.1≤｜r｜<0.4는 약함, 0.4≤｜r｜<0.7은 중등도, 0.7≤｜r｜<1은 강함, ｜r｜=1은 완전히 일치함으로 해석하였다. 세부영역별 점수 및 CPX와 OSCE 점수 간의 상관관계를 살펴본 결과, 병력청취-OSCE를 제외한 모든 변수 간에 통계적으로 유의한 상관관계를 보였다. CPX 점수는 병력청취 및 신체검진과 강한 상관관계(r=0.813 and r=0.712), 환자 교육 및 PPI와는 중등도의 상관관계(r=0.568 and 0.637)를 보였다. PPI는 신체진찰 및 환자 교육과 중등도의 상관관계를 보였다(r=0.429 and r=0.456). CPX와 OSCE는 약한 상관관계를 보였다(r=0.347) (Table 4).

Table 4.

Correlation analysis between subcategory scores

3) 신뢰도 분석

첫째 날의 경우 사례에 포함되어 있는 문항(I:C)의 변동이 54.73%로 가장 높았으며, 학생의 사례별 변동(PC, 사례 특이성)은 3.44%, 학생에 의한 변동(P, 학생 변별도)은 1.19%로 나타났다. 일반화 가능도 G계수는 0.724였다. 둘째 날의 경우, 사례에 포함된 문항(I:C)의 변동이 63.93%로 가장 높았으며, 학생의 사례별 변동(PC)은 2.56%, 학생에 의한 변동(P)은 1.32%로 나타났다. 일반화 가능도 G계수는 0.786이었다(Table 5).

Table 5.

Generalizability analysis of the 12-case CPX/OSCE by test date

4. 다른 변수와의 상관성

실기시험의 점수와 평점평균, 기초종합평가, 임상종합평가, 구두시험의 점수와의 상관관계를 분석한 결과, 모두 중등도의 상관관계를 보였다. 그 중 평점평균과의 상관계수는 r=0.605, 구두시험과의 상관계수는 r=0.508였다(Table 6).

Table 6.

Correlation analysis between other independent measures

5. 영향

학생에게 미친 긍정적인 영향으로는 임상술기 및 의사의 태도에 대해 익힌 것, 학습내용의 포괄적인 이해, 스스로 학습하며 부족했던 부분을 보충할 수 있었던 점 등이 조사되었다. 부정적인 영향으로는 본 평가의 의미에 대한 이해 부족으로, 학습동기 부여가 불충분, 제대로 배우지 않은 내용이 출제된 점에 대한 불만, 교수자 중심의 강의형태의 수업과 실습모형과 도구 및 연습시간의 부족으로 인해 충분히 연습할 기회 부족, 평가결과에 대한 피드백이 불충분, 과도한 스트레스 등의 응답을 보였다(Table 7).

Table 7.

Consequences

교육자에 미친 영향으로는 교실에서 이루어지는 강의형태의 수업보다 소규모의 실습 위주의 수업이 필요하다는 점, 평가결과에 대한 피드백이 필요하다는 점을 일깨워주는 효과가 있었다(Table 7).

교육과정 및 기관에 대해서는 실기 관련 교육과정 및 출제계획표에 대한 검토, 2학년 수준에 맞는 필수적인 실기내용에 관한 출제계획표 마련, 임상술기 교육자로 하여금 교육 및 피드백 능력을 향상시킬 수 있도록 하는 프로그램 개발, 본 평가의 의미에 대해 소개하는 학생 대상의 오리엔테이션 프로그램 제공, 큰 학점으로 인한 과도한 스트레스를 줄이는 방안, pass/fail 결정절차에 대한 논의 등에 대하여 고려하도록 한 효과가 있었다(Table 7).

고 찰

본 연구는 2학년에서 시행된 실기시험의 타당도를 분석하기 위해 Messick의 타당도 분석 틀을 활용하여 내용타당도, 응답과정, 내적 구조, 다른 변수와의 상관성 및 실기시험의 영향 등으로 세분하여 살펴보았다. 그 결과, 평가내용은 출제계획표에 근거하여 체계적으로 선정되었고, 시험과정은 교육 및 채점 훈련을 통해 질적으로 통제되었으며, 시험의 내적 구조는 신뢰성을 확보하고 있고, 다른 시험과 상관성을 보였다. 학생에게 술기를 익히도록 하고 스스로 학습하도록 하는 계기를 제공했으나, 동기부여 부족 및 지나친 스트레스를 유발하였고, 교육자에게는 실기에 적합한 수업방법의 적용이 필요하며 평가결과에 대한 피드백이 필요하다는 점을 상기하였으며, 교육과정 및 기관으로 하여금 이를 지원하기 위한 프로그램 개발을 고려하도록 하는 효과가 있었다.

내용타당도를 확보하기 위하여 출제 전 출제계획표를 활용하여 이에 부합하도록 출제하였고, 전문가 집단의 검토와 표준화환자 교육 및 드레스 리허설을 시행하는 등, 사례 개발의 적절성과 표현의 정확성을 위한 절차가 충분히 반영되어 있었다. 그러나 사용된 출제 계획표가 2학년의 수준에 적합하게 작성되었는지 검증이 필요하겠다. 2학년 수준에서 임상실습 진입을 위한 수준을 고려하여 출제계획표를 재설계하고, 면담 등 어려운 문항은 출제하지 않는 것이 바람직하겠다. 또한 본 시험에서는 출제계획표를 공식적으로 학생에게 공개하지 않았는데, 기존 연구에서 출제계획표를 공개하는 것은 교육자와 학생 모두 중요한 내용에 집중할 수 있도록 하며, 학생들로 하여금 시험의 타당도에 대해 긍정적인 인식을 갖게 한다고 알려져 있으므로[13], 출제계획표를 공개하여 소통하는 것을 고려할 필요가 있다. 한편, 각 평가항목에 대한 교육방법이 적합하지 않았던 경우가 확인되었다. 술기에 대한 수업은 강의형태보다 학생들이 실제 연습이 가능하도록 이루어져야 하며, CPX는 특히 실제 수업에서 표준화 환자를 활용한 교육이 확대되어야 할 것이다.

응답과정에 대해서는 사전교육과 반복적인 모의채점 과정을 통해 채점자 간 편차를 최소화하고, 한 채점자가 반복되는 채점에서 동일한 기준으로 채점할 수 있도록 하였다. 다만 평가자 간 신뢰도 및 평가자 내 신뢰도를 분석하지는 못했다. Inter-rater agreement는 한 학생이 서로 다른 평가자로부터 받는 점수의 안정성을 보여주고, inter-rater reliability는 서로 다른 평가자들로부터 여러 학생들이 받은 점수의 일관성을 보여주는데, 이 두 가지가 항상 함께 충족되지는 않는 것으로 알려져 있으므로 inter-rater agreement와 interrater reliability가 각각 확보되었는지 객관적인 검증이 요구된다[14].

내적 구조의 타당도를 살펴보기 위해서는 기술통계 결과와, 영역별 점수의 상관분석, 일반화 가능도 이론을 이용한 신뢰도 분석을 이용하였다. 먼저 기술통계 결과에서, CPX보다 OSCE에서 높은 평균 점수를 보인 점과, 영역별 점수에서 환자 교육과 신체진찰이 낮은 점수를 보인 점을 통해 단순 술기보다 환자를 대면하여 진찰하고 설명하는 것에 학생들이 어려움을 느끼고 있는 것을 알 수 있고, 이 내용에 대한 충분한 교육이 이루어져야 할 것으로 생각된다.

영역별 점수를 살펴보았을 때, CPX와 OSCE는 약한 상관관계를 보여, 이 두 가지는 서로 다른 것을 평가하는 것이고, 교육도 달리 이루어져야 한다는 점을 시사한다. 병력청취 및 신체진찰 점수가 CPX 점수와 ‘강한’ 상관관계를 보인 것은 병력청취와 신체진찰의 점수 비중이 CPX 내에서 차지하는 비율이 크기 때문인 것으로 생각된다. CPX 점수는 환자 교육 및 PPI와도 중등도의 상관관계를 보여, OSCE에서는 평가되지 않는 환자를 대면함으로써 발생하는 영역들을 CPX를 통해 타당하게 평가하고 있는 것으로 생각된다. PPI는 공감능력, 감정 인식 및 표현능력이 뛰어난 학생의 점수가 높다고 알려져 있고, 이러한 능력이 뛰어난 경우 임상상황을 더욱 정확히 인식하고, 환자의 입장을 고려한 문제해결방안을 모색할 수 있으며[15], 환자들은 자신에게 집중하는 의사로부터 더 많은 이득을 얻게 된다는 보고가 있다[16]. 본 연구에서 PPI는 신체진찰 및 환자 교육과 중등도의 관련을 보이는 것으로 나타나, PPI의 평가에는 환자의 신체를 접촉하게 될 때 충분히 설명하고 동의를 구하는 등 환자를 배려하는 내용과 환자에게 알기 쉽게 교육하는 것이 반영되었을 것으로 보인다.

일반화 가능도 이론에 의한 신뢰도는 첫째 날과 둘째 날 각각 0.724와 0.786으로 나타났다. 일반적으로 일반화 가능도 이론의 신뢰도는 0.7–0.8 정도면 이상적인 것으로 알려져 있어[17], 본 실기 시험의 결과는 상당히 신뢰할 수 있는 것으로 판단된다. 측면별로 변동에 미친 영향 정도를 살펴보았을 때, 학생의 사례별 변동(PC)에 의한 변동은 첫째 날과 둘째 날 각각 3.44%와 2.56%로 낮게 나타나, 일반적으로 사례 특이성이 높게 보고되는 기존 연구들의 결과와는 일치하지 않았다[18,19]. 또한 학생으로 인한 변동은 첫째 날과 둘째 날 각각 1.19%와 1.32%로 나타나, 학생 변별도가 높지 않은 것으로 생각할 수 있다. 사례에 포함되어 있는 문항(I:C)으로 인한 변동이 가장 크게 나타나(54.73%, 63.93%), 본 실기시험에서는 ‘문항’으로 인한 변동이 가장 컸다는 것을 알 수 있다. 병력청취, 신체진찰, PPI 등에는 여러 사례에 공통적으로 있는 ‘일반적인(generalizable)’ 문항과 사례 특이적인(case specific) 문항이 포함되어 있는데, 일반적인 문항들이 설명 가능한 변동에서 차지하는 비율이 큰 것으로 알려져 있다[19]. 본 시험에서는 일반적인 문항을 잘 대비한 학생과 그렇지 못한 학생이 있을 것으로 생각되고, 이것은 본 시험이 해당 학생들이 처음으로 경험해 본 실기시험이라는 점이 영향을 미쳤을 것으로 보인다. 각 사례에 특이적인 문항은 전체 학생의 수준에 비해 어려웠기 때문에 학생 변별도와 사례 특이성은 낮게 나온 것으로 유추할 수 있다. 일반적인 문항과 사례 특이적인 지식은 모두 임상에서 필수적인 요소이므로, 두 가지를 적절히 평가하는 것이 필요하며[19], 향후 본 시험의 의미와 대비방법 등에 대한 학생들의 준비가 향상된 상태에서 사례 특이적인 문항과 사례 특이성이 어떻게 변화되는지 분석할 필요가 있겠다.

다른 변수와의 상관성을 살펴본 결과, 평점평균과의 상관성이 높게 나타난 것은 학생의 일반적인 학습능력이 본 실기시험의 결과와도 상관성이 있는 것으로 생각할 수 있다. 실기시험과 구두시험과의 중등도의 상관성은, 기존 연구의 결과와 일치한다[20]. 또한 실기시험은 기초종합평가와 임상종합평가와도 중등도의 상관성을 보였는데, 아주 강한 상관을 보이지 않는다는 점에서 실기평가는 지필고사에서 평가하는 내용과는 다르며, 지필시험은 실기시험을 대체할 수 없다는 연구의 맥락과 일치한다[21]. 한편, Dadgar 등[22]에 의한 설문조사 연구에서 학생들은 OSCE/CPX, 구두시험, 지필시험 중 실기시험이 학습에 가장 도움이 되었다고 답했고, 구두시험이 두 번째, 지필시험이 그 다음으로 도움이 된 것으로 응답한 점과 OSCE/CPX는 최종 성적과 강한 상관관계를 보였고, 구두시험은 최종 성적과 중등도의 상관관계를 보인 점 등을 고려하면, 실기시험이 학습에도 도움이 되며 능력 측정에도 타당한 방법으로 생각된다.

본 실기시험은 학생 스스로 학습하며 부족한 부분을 보충할 수 있도록 하고, 임상술기 및 의사의 태도에 대해서 익힐 기회가 되었다는 것이 긍정적인 영향으로 조사되었으나, 예상치 못한 부정적 영향도 확인되었다. 부정적인 영향들은 대체로 시험의 난이도가 너무 높고 중요도가 크며, 수업방법이 평가방법에 적합하지 않았던 점, 시험의 의의에 대한 것이나 시험결과에 대한 의사소통이 부족했던 점에 의해 비롯된 것으로 보여, 향후 이에 대한 보완이 필요하다. 교육자와 교육과정 및 기관에 대해서는 위 내용에 대해 인지하게 하고 이를 극복하는 다양한 방안을 논의하도록 하였다는 효과가 있었다. 평가가 학생에게 미치는 영향은 시험 전, 시험 중, 시험 후로 나누어지는데[23,24], 본 평가는 시험 전의 부정적 영향으로 학생들에게 과도한 스트레스를 준 점과, 동기부여가 부족하고, 적합한 준비방법을 찾지 못했다는 것이 조사되었다. 기존 연구에서 시험에 대한 인식이 충분할수록 시험에 대해 더 잘 준비를 하도록 하여 평가 전 학습활동을 높인다고 알려져 있다[24]. 본 실기시험에서는 해당 학생들이 처음으로 접하는 형태의 실기시험이라는 점과, 2학년에서 종합시험이 시행된 첫 해라는 점 등으로 인해 시험에 대한 학생들의 인식이 낮았고, 시험 전 학습활동을 이끌어내는 데 충분하지 못했기에, 향후에는 이에 대한 보완이 필요하다. 또한 시험 후 학습의 효과를 극대화하기 위해서는 피드백이 필요하다. 특히 임상실습 진입 후에 환자를 직접 대면하게 되므로 지식, 술기뿐만 아니라 의사소통 부분에서 개별적인 피드백을 시행할 필요가 있다. 기존 연구에서 비디오 피드백은 실질적인 실력 향상의 효과는 미미하더라도 학생들의 만족도는 높고 큰 도움을 받은 것으로 여긴다는 것이 알려져 있고, 평가점수에 대한 통지 자체가 학생에게 학습동기 유발을 하게 되고, 이로 인해 실력이 향상되는 측면이 컸다고 밝히고 있어, 사례별, 항목별, 영역별로 학생의 성취도를 통지하는 것도 향후 학습에 도움이 될 것으로 생각된다[25].

본 연구에는 몇 가지 제한점이 있었다. 첫 번째, 일개 대학에서 시행한 시험에 대한 분석이므로 향후 보다 광범위한 연구가 필요하다. 두 번째, 응답과정의 타당도 분석에서 평가자 간 일치도, 평가자 내 일치도 등을 객관적으로 검증해보지 못했으며, 세 번째, 내적 구조에서는 모든 학생이 같은 내용의 시험을 보지는 않고 2일에 거쳐 시험을 보아 2일간 시험의 내용을 직접 비교할 수 없었으며, 일반화 가능도에 의한 신뢰도 분석에서 평가자 요인을 분석하지 못한 한계가 있었다. 마지막으로 이 시험은 해당 학생들이 처음 경험해 본 실기시험이었기 때문에, 시험에 대한 학생들의 충분한 인식이 없었다.

제한점을 고려하여 본 연구의 의의는 2학년에서 시행한 실기시험이 타당하며 신뢰성이 높다는 것을 확인하였고, 향후 교육과정과 평가방법에서 개선이 필요한 부분을 파악하는 데에 도움을 준 것으로 판단된다. 임상실습에 진입하기 직전 단계에서 학습내용을 총괄하는 데에 이러한 형태의 실기시험을 포함한 종합평가가 도움이 되는 것으로 보이고, 학생들이 처음으로 접하는 실기시험이라는 점을 고려하여 적정 난이도를 설정하고 최적의 평가방법과 교육방법을 모색하는 것이 필요할 것이다.

Article information Continued