임상수행평가(clinical performance examination, CPX)에서 평가하는 내용은 병력과 신체진찰을 통한 정보모음, 환자에게 필요한 내용을 전달하는 정보 공유, 신체진찰을 시행하는 동안에 지켜야할 예절, 환자와 의사소통 및 대인관계를 형성하기 위한 환자의사관계, 추정 진단명과 감별진단 및 향후 진단 및 치료 계획 기술을 통한 임상적 추론 능력 등이 있다. 이 중에서도 환자를 통해 파악한 병력과 신체진찰에 관한 정보는 그 속성상 정보를 만들어낸 사람만이 그것을 이용하는 것이 아니고 파악해낸 정보를 정리하여 정확하게 다른 사람에게 전달할 수 있을 때 정보로서 활용할 가치가 있다. 특히 의료 현장에서 정확한 정보의 전달은 진료에 있어 환자의 안전과 치료 효과를 높이는데 매우 중요한 사항이다. 더구나 불명확한 의무 기록이 환자 진료 수준을 떨어뜨리고 경제적 부담을 가중시킨다는 보고도 있다(Weber, 2002). 그런데 실제 진료현장에서 의사가 이러한 능력을 갖추고 있는지 평가하기가 매우 어려운 것이 현실이다. 또 한 명의 의사가 다시 환자를 진찰하지 않는 한 의사가 작성한 기록의 정확성과 진실성을 정밀하게 평가하는 것은 사실상 불가능하다고 할 수 있다(Cradock et al., 2001). 그런데 잘 준비된 SP를 이용한 CPX 에서는 실제 진료 현장과 유사한 상황을 연출할 수 있으면서도 학생의 시도에 따라 SP가 학생에게 전달하는 정보를 일정하게 유지할 수 있으므로 학생의 기록 능력을 비교적 정밀하게 평가할 수 있다. 그러므로 병력과 신체진찰에서 얻은 정보 중에서 향후 환자진료에 반드시 필요한 중요한 정보를 선별하여 정확히 기록 하는 것이 정확한 정보 전달의 중요한 요소라면 CPX를 통하여 학생이 이러한 능력을 갖추고 있는지 평가할 필요가 있다.

그런데 현재 의사국가시험의 실기시험이나 ‘임상수행능력평가를 위한 서울경기 컨소시움’ 에서 졸업예정자나 고학년을 대상으로 하는 CPX에서는 학생이 SP를 진료한 후에 진료실을 나와서 학생이 SP를 통하여 파악한 정보를 바탕으로 SP의 추정 진 단명과 감별해야할 질환, 그리고 그에 따른 향후 진단 및 치료 계획만을 기술하도록 사이시험(interstation work)을 부과하고 있다. 이는 학생이 진단이나 계획을 정확히 기술할 수 있다면 이를 추론하기 위해 필요한 병력과 신체진찰 영역의 정보도 정확히 파악하고 있는지는 병력과 신체진찰의 채점표를 통하여 평가할 수 있다는 것을 전제로 하고 있는 것이다. 그런데 임상수행평가의 시행에 따른 현실적인 문제로 우리나라에서는 대개 먼저 평가를 받은 학생이 뒤에 평가를 받을 학생에게 시험에 관한 정보를 제공하게 되는데 이 때 주로 추정진단명을 알려주는 경우가 많다(Park & Kwon, 2005; Kim et al., 2006). 이렇게 되면 사이시험에서 기술하는 진단과 계획이 병력 청취와 신체진찰 등을 통 해 얻은 정보를 바탕으로 한 추론을 통하여 기술하기 보다는 점수를 얻기 위해 시험에 관하여 먼저 평가를 받은 학생에게서 얻은 추정진단명을 그대로 기술하는 경우가 있을 수 있다. 이런 현 실에서 학생이 병력과 신체진찰을 통해 얻은 정보의 가치를 정확히 판단하여 그에 따른 임상적 추론을 하였는지 평가하기 위해서도 병력과 신체진찰을 통하여 얻은 정보를 얼마나 정확히 기술할 수 있는지도 평가해야 할 필요가 있을 것으로 사료된다. 이에 저자는 그 필요성을 파악하기 위해 CPX에서 학생이 SP를 진료한 후에 사이시험에 진단과 계획에 대하여 기술하기에 앞서 병력과 신체진찰을 통하여 파악한 정보도 기술하도록 하여 학생이 문진과 진찰을 통하여 SP로부터 듣고 파악한 여러 병력과 신체진찰의 정보 중에서 채점표에 있는 중요한 항목을 얼마나 기술할 수 있는지 병력과 신체진찰의 채점표 점수와 사이시험 점수 간의 상관관계를 조사하여 분석해 보고자 본 연구를 시행하였다. 두 점수 사이에 상관관계가 높으며 사용된 증례 사이에 큰 차이를 보이지 않는다면 사이시험에 병력과 신체진찰을 기술하 라고 할 필요성은 떨어진다고 할 수 있지만 상관관계가 증례에 따라 큰 차이를 보이거나 그리 높지 않다면 사이시험에 병력과 신체진찰을 기술하도록 하는 것이 학생의 임상 추론 능력과 기록 능력을 측정하는데 필요하다고 할 수 있을 것이다.

본 연구는 기본적으로 2008년 본과 4학년말 임상수행평가를 받은 133명의 학생을 대상으로 하였다. 임상수행평가는 10개의 증례를 사용하였으며 그 내역은 Table I의 시험설계표(blue print matrix)에 나열하였다. 학생은 12분간의 SP진료를 마친 후 에 진료실을 나와 부록 1에 기술한 방법으로 6분 동안 사이시험을 기술하도록 하였으며 채점표는 학생이 SP를 진료한 후에 진료실 밖에서 사이시험지를 작성할 때 환자 연기를 한 SP가 완성하였다. 또한 학생은 사이시험을 기술하기에 시간이 충분했는지에 대하여 각 증례의 사이시험을 기술한 직후에 ‘예’, ‘아니오’ 로 사이시험지에 표시하도록 하였다. 학생들은 모든 증례에서 사이시험지를 작성하였으나 10개의 증례 중에서 그 특성상 병력 이나 신체진찰 내용을 기술하기 어려웠던 ‘비만’ 과 ‘목 쉼’ 증례는 본 연구에서 제외하였다.

사이시험의 병력과 신체진찰 영역은 채점표의 병력과 신체진찰 항목을 기준으로 평가하였는데 학생이 기술한 내용이 채점표 상의 해당 항목과 내용면에서 일치하게 기술하였을 경우에만 득점으로 인정하였다. 예를 들어 채점표 항목은 ‘통증의 성격’ 을 물어보았을 때만 ‘예’ 로 표시하게 되어있는데 사이시험에 단지 ‘통증의 존재’ 만 기술하였다면 득점으로 인정하지 않았다. 이와 같은 사이시험의 작성 요령과 평가 방법은 수험생들에게 시험 시행 1달과 1주일 전, 그리고 시험 당일 시험 직전에 반복하여 설명하였는데 특히 병력과 신체진찰 영역은 학생이 판단하기에 환자가 가지고 있는 문제에 의학적으로 접근하기 위하여 중요하 다고 생각하는 정보를 우선적으로 기술하라고 설명하였다. 사이 시험지는 임상수행평가의 전문가인 한 사람의 의사가 사용된 모든 사례를 채점하였다. 연구 목적과 채점 기준의 일관성을 유지 하기 위해 정확한 용어를 사용하여 기술하지 않았어도 기술한 내용이 채점표 항목과 일치하면 점수를 부여하도록 하였다. 병력과 신체진찰의 채점표 점수는 각 항목을 1점으로 하여 병력의 경우 학생이 각 항목의 채점 기준에 합당하게 질문을 했을 경우에 점수를 부여하였고 신체진찰의 경우 제대로 시행하면 1점, 시행은 하였으나 제대로 하지 못한 경우 0.5점, 시행하지 않은 경우는 0점으로 하여 합산하였다. 병력과 신체진찰의 사이시험 점수는 학생이 기술한 내용에 해당하는 채점표의 항목을 찾아서 그 만큼의 점수를 부여하였으며 신체진찰의 경우 채점표에 ‘제대로 못함’ 으로 평가되었어도 기록의 내용이 정확하면 점수 1점으로 인정하였다. 이렇게 얻어진 병력과 신체진찰의 채점표 점수와 사이시험 점수 간의 상관관계는 주로 비모수검정인 Spearman's Rho를 구하여 분석하였으며 참고를 위해 상관관계 계수도 구하였다.

병력과 신체진찰의 채점표 점수와 사이시험 점수 간에는 낮거나 중등도의 상관관계가 있는 것으로 나타났다. 8개 증례의 Spearman's Rho의 중앙값은 0.37이고 최하 0.17, 최고 0.52로 나타났다(Table II).

그 동안 ‘임상수행능력평가를 위한 서울 경기 컨소시움’ 에서 시행한 CPX에서는 시간적 제약과 평가의 중복을(어떤 영역을 채점표와 사이시험에서 이중으로 평가하는 것은 같은 내용을 중복해서 평가한다는 개념.) 이유로 학생이 SP를 진료하고 나서 그 내용을 기록하는 사이시험에서 병력과 신체진찰 소견 기술을 생략하여 왔다. 본 연구에서는 기존의 CPX와는 달리 학생으로 하여금 사이시험에 추정 진단명과 향후 계획을 기술하기에 앞서 병력과 신체진찰 소견도 기술하도록 하여 이 영역의 채점표에 의한 점수와 사이시험에 의한 점수 간의 상관관계를 분석하여 보았다. 만약 병력과 신체진찰의 채점표 점수와 사이시험 점수의 상관관계가 사용 증례와 관계없이 일관되게 높게 나온다면 이는 채점표를 이용하여, 학생이 문진이나 신체진찰을 통하여 진단을 추론하기 위해 필요한 정보를 얻기 위한 ‘시도’ 를 하였는지만 평가하여도 그 ‘시도’ 의 결과 얻어진 정보의 가치를 ‘인식’ 하고 있는지도 간접적이나마 평가가 가능하다는 결론에 이 를 수 있다. 그러나 만약 그 상관관계가 약하다고 하면 학생이 정보를 얻기 위한 ‘시도’ 를 하였는지 평가한 결과만으로는 그 ‘시도’ 의 결과 얻어진 정보의 가치를 제대로 ‘인식’ 하고 정리할 수 있는지를 평가하기 어렵다는 결론에 이를 수 있다. 그런데 본 연구 결과 그 상관관계가 중등도 정도를 보인 증례가 대부분이었지만 매우 낮았던 증례도 있었으며 상관관계가 매우 높았던 증례는 없는 것으로 나타났다. 즉, 채점표 점수에 반영되는 ‘학생이 얻으려고 시도했을 것으로 여겨지는 정보’ 와 사이시험 점수에 반영되는 ‘학생이 실제로 중요하다고 판단한 정보’ 사이에는 괴리가 있다는 것이다. 그러므로 사이시험에 병력과 신체진찰 소견도 기술하게 하는 것이 학생의 추론 능력을 평가하는데 필요할 것으로 사료된다.

SP를 이용하여 의사나 학생이 환자를 진료하면서 얻으려고 했던 정보를 정확히 기술할 수 있는지에 대한 논문이 몇 편 발표 된 바 있다(Boulet et al., 2002; Dresselhaus et al., 2000; MacMillan et al., 2000; MacRae et al., 1995; Norcini & Boulet, 2003). 미국의 한 의과대학에서는 특히 신체진찰에 초점을 맞추어 연구를 진행하였다(Szauter et al., 2006). 거기서는 임상기술 평가(clinical skill assessment)에서 학생이 SP에게 어떤 신체검사를 시행하였는지 확인하고, 학생이 진료실을 나와서 기술한 사이시험에서 그 신체검사에 해당하는 내용이 있는지를 직접적으로 비교하였다. 3가지 증례의 모두 207개 사이시험지를 조사한 결과 4%의 사이시험지에서만 학생이 실재로 시행한 신체검사와 사이시험에서 기술한 신체검사 내용이 완전히 일치하였고 96%의 사이시험지에서는 실제 학생이 SP에게 시행한 신체진찰 항목과 다른 기술이 발견되었다. 이에 저자들은 표준화환자를 이용한 평가에서 채점표에 의한 정보획득 기술과 함께 사이시험을 통한 기록 능력도 평가할 필요가 있다고 결론지었다. Worzala et al.(2008)은 219명의 학생을 대상으로 하나의 증례에서 병역과 신체진찰 채점표 항목과 학생이 표준화환자를 진료한 후에 작성한 환자기록(postencounter note)을 전체적으로 그리고 채점표의 각 항목별로(채점표 항목은 21개) 비교 분석한 결과를 보고하였다. 전체적으로 볼 때 채점표에서 학생이 수행하였다고 판정된 3897개의 채점표 항목 중에서 학생이 환자기록에 기술한 항목은 2743개 였으며 1136개는 기술되지 않았다. 반면에 채점표상에는 수행하지 않았다고 판정된 720개 항목 중에서 환자기록에 기술된 항목도 172개에 달하는 것으로 보고하였다. 채점표를 21개의 각 항목별로 분석한 결과에 의하면 14개의 병 력 항목 중에서는 누락률(채점표에는 수행한 것으로 판정되어 있으나 환자기록에는 나타나지 않은 항목)이 1%에 불과한 항목 도 있었지만 73%, 86%에 달하는 항목도 있었다. 8개의 신체진찰 항목 중에서도 역시 누락률이 1%에 불과한 항목도 있었던 반면 59%에 달했던 항목도 있었다. 반면에 채점표 상에는 수행하지 않은 것으로 기록되었지만 환자기록에는 기술된 항목의 비율은 최소 0%에서 최대 27%로 나타났다고 보고하였다. 누락률이 높은 결과에 대하여 저자들은 학생의 기억력도 문제가 될 수 있지만 특히 꼭 물어보아야 할 항목이지만 SP가 없다고 대답하거나 신체진찰 결과 이상이 없는 항목의 누락률이 높은 것으로 나타 났다. 이에 저자들은 이렇게 병력과 신체진찰에 해당하는 채점표 점수와 환자기록 점수의 비교 분석을 통해 유용한 정보를 얻을 수 있다고 주장하였다.

전체적인(정보획득 영역의) 채점표 점수와 사이시험 점수의 상관관계를 분석한 연구도 있다. Boulet et al.(2004)은 미국의 입장에서 외국의과대학을 졸업하고 미국의사면허 시험에 응시한 학생을 대상으로 한 임상수행평가에서 SP가 완성한 채점표에 의한 정보획득 점수와 의사가 채점하는 환자기록(patient note) 점수의 상관관계를 분석하였다. 여기서는 미국면허시험에 처음으로 응시한 6225 명의 응시자를 대상으로 101개의 증례를 사용하여(각 응시자는 10개의 증례로 평가를 받았다.) 완성한 61,497 개의 완성된 채점표와 환자기록을 사용하였는데 그 결과 두 점수의 상관관계는 0.51로 본 연구보다 높은 것으로 나타났다. Berg et al.(2008)도 미국의 한 의과대학 학생들의 미국의사면허 시험 2단계 임상수행평가 결과를 이용하여 유사한 결과를 보고 하였는데 역시 상관관계는 0.51로 나타났다. 단 본 연구와 이들 연구를 단순비교를 하기는 어려운 것은 여기서는 본 연구의 사이시험 점수에 해당하는 환자기록 점수에 병력과 신체진찰 소견은 물론 추정진단과 향후 계획 등의 요소도 포함되어 있으며, 평가도 본 연구처럼 채점표 항목수를 기준으로 한 것이 아니고 의사가 응시자가 작성한 환자기록만을 전체적으로 검토하여 각 환자기록을 9개의 등급으로 판정한 결과를 점수로 산정했기 때문이다. 학생이 작성하는 환자기록은 위의 참고문헌에서와 같이 기록을 전체적으로 평가할 수도 있고(holistic approach) 본 연구처럼 항목으로 나누어 평가할 수도 있다(atomistic approach). 각각은 서로 장단점이 있다고 생각되는데 holistic approach는 평가자가 충분히 훈련되고 평가 기준이 명확하다면 타당도가 높 은 평가를 할 수 있을 것으로 사료되지만 반면에 여러 명의 평가자가 각기 다른 기록을 평가해야 한다면 공정한 평가가 시행되 었다는 신뢰도 측면에서는 문제가 있을 것으로 보인다. 반면에 본 연구에서 시행한 평가 방법은 Boulet et al.(2004)이 제시한 holistic approach의 평가 기준에 포함되어 있는 논리적인 문맥 상의 흐름이나 전체적인 조직도 등을 평가하기에는 미흡하였다고 생각한다. 또한 평가를 설계함에 있어 시간적 제약 때문에 사이시험 작성시간이 많은 내용을 기술하기에는 다소 부담이 될 수 있는 6분으로 제한되었고 이에 따라 기술 항목수와 방법도 제한적으로 설계할 수밖에 없었다. 하지만 학생이 어떤 항목을 기술하였는지에 대한 계량적인 평가는 비교적 정확히 할 수 있는 장점이 있어 신뢰할 수 있는 결과를 얻을 수 있었다. 또한 사이시험을 채점함에 있어서는 각 항목당 일률적으로 1점의 점수를 배정하지 않고 사이시험 한 항목에 기술한 내용이 채점표의 여러 항목에 해당하여도 학생이 사이시험 작성방법에 어긋나게 기술 하지 않았다면 해당 채점표 항목 수에 따라 점수를 부여하여 채점표의 내용을 보다 충실하게 기술한 학생이 높은 점수를 받도록 하였다. 즉, 같은 증상이나 소견을 기술되었더라도 채점표의 기술된 속성을 보다 충실하게 기록한 사이시험지가 높은 점수를 받도록 하여 학생이 작성한 답안의 질적인 측면도 많이 반영되었다.

위에서도 연구 설계 면에서 본 연구의 제한점을 언급했지만 그 외에도 몇 가지 문제가 있다. 우선 본 연구에서는 학생들이 기술한 ‘내용’ 에 초점을 맞추었기 때문에 철자가 틀렸다거나 병력과 신체진찰의 내용을 체계적으로 기술하지 못했다는 것 같은 ‘형식’ 면에서의 오류는 점수에 반영하지 않았다. 이는 일단 논문의 초점을 학생이 추정진단명을 추론하기 위해 이용한 정보의 ‘내용’ 에 초점을 맞추기 위해서였다. 다만 채점 과정에서 상당 수 학생의 사이시험지에서 어떤 ‘내용’ 을 기술한 것인지는 판단 할 수 있었으나 그 ‘내용’ 을 기술하는 ‘형식’ 에 오류가 발견되는 경우가 다수 있었다. 둘째로, 본 연구의 결과는 소수의 1개 학교 학생을 대상으로 한 결과이기 때문에 다른 학교에서도 유사한 결과가 나올지는 알 수 없다. 다만 저자가 다른 학교의 교수들과 이 결과에 대하여 논의한 바로는 그들의 학교에서 연구를 진행했어도 정도의 차이는 있겠지만 본 연구와 거의 유사한 해석이 가능한 결과가 나왔을 것으로 예상된다. 셋째로, 연구 인력의 부족으로 채점자가 없어 부득이 한 사람의 의사가 채점을 시행하여 채점자의 편견에 의한 오류가 있을 수 있다. 하지만 본 연구는 그 채점 기준이 비교적 명확하고 학생들에게 작성 요령을 여러 차례에 걸쳐 주지시켰기 때문에 이에 따른 오류는 최소화되었을 것으로 생각한다. 또한 본 연구에서 인용한 참고문헌에서도 한 학생 기록의 채점은 대개 한 사람의 의사가 담당하였다. 넷째로, 본 연구에서는 비모수 검정으로 채점표 점수와 사이시험 점수의 상관관계를 분석하였다. 이는 채점표와 사이시험에서 학생이 득점한 점수의 간격이 등간격이라고 보기 어렵지만 점수 간에 우열은 나타낼 수 있다고 판단하였기 때문이다. 다만 Table II에서 병기했듯이 모수검정으로 상관관계 계수를 구하여도 앞에서 기술한 결과와 유사한 결과를 보였다.

결론적으로 병력과 신체진찰의 채점표 점수와 사이시험 점수는 사용한 사례에 따라 차이를 보이며 하등도에서 중등도 정도의 상관관계를 보였으며 전체적으로 낮은 중등도 정도의 상관관계를 나타냈다. 특히 연구 대상 학생 수에서 큰 차이가 있지만 환자기록에 병력과 신체진찰도 기술하게 하는 참고문헌들의 결과에 비해서는 상관관계가 낮은 것으로 나타났다. 그러므로 이는 사이시험에 병력과 신체진찰 소견을 기술하게 할 필요가 있음을 반증한다고 생각한다. 즉, 상관관계가 높다고 하여 사이시험에 병력과 신체진찰을 기술하게 할 필요가 없다고 말하기는 어렵다 해도 본 연구와 같이 상관관계가 낮게 나왔다면 학생의 추론 능력을 평가하기 위해서는 채점표만으로는 안 되고 사이시험에 이 영역의 기술하게 하여야 한다고 생각한다. 다만 실질적으로 병력과 신체진찰 소견을 기술한 사이시험을 holistic approach로 채점하려면 채점자 교육과 검증에 많은 노력과 시간이 필요하며 CPX를 설계할 때부터 사이시험 작성을 위한 충분한 시간이 주어져야 한다. 그런데 현실적으로 이것이 어렵다고 한다면 본 연구에서 시도했던 사이시험 방법도 하나의 대안으로 고려될 수 있을 것이다. 이를 위해 채점표 항목을 개발할 때부터 학생에 SP 에게 물어보아야 할 질문이나 신체진찰 항목과 별도로 학생이 SP를 진료한 후에 환자 기록에 반드시 들어가야 하는 내용을 채점표에 선별적으로 표시하여 그 항목만을 이용하여 본 연구의 방법으로 사이시험을 평가하는 것도 하나의 대안이 될 수 있을 것으로 생각된다. 앞으로 학생에게 사이시험에서 병력과 신체진찰 소견을 기술하게하고 이를 평가하기 위해 한 학교가 아닌 컨소시움이나 국가시험 차원의 보다 큰 규모의 연구가 필요할 것으로 사료된다.