전문직 간 교육(IPE, Interprofessional education)은 둘 또는 그 이상의 전문가들이 서로 함께 배우고(Learn with), 상대방으로부터 배우고(Learn from), 서로에 대해 배움(Learn about)으로써 치료와 케어에 있어 최상의 협력환경을 구축하도록 돕는 중요한 교육 방식이다[1]. IPE는 특히 보건의료 분야에서 부각되고 있으며, 보건의료인들은 IPE를 통해 다분야 팀의 구성원으로서 서로의 업무를 이해하고 협력해 더 효율적으로 환자들을 보살필 수 있는 역량을 키울 수 있다[1]. 학부과정의 일부로 IPE를 실시했을 경우 졸업 후 임상에서 더 효율적인 협력을 가능케 한다는 사실이 연구에서 보고되면서[2] 세계보건기구(WHO, World Health Organization)에서도 보건의료 관련 학과 학생들이 협동교육을 통하여 협력 관계를 가질 수 있도록 IPE를 실시하는 것을 권장하였다[3]. 또한 임상에 종사하고 있는 보건 전문직들에게 교육을 실시한 결과, 실제 서로의 역할을 잘 이해하였고 팀워크, 의사소통과 협업 역량을 극대화시킬 수 있었다[4]. 특히, 심혈관 질환, 당뇨, 암 등의 전신질환과 치주질환 간의 연관성이 밝혀짐에 따라[5] 의료 전문직 간의 통합적인 케어를 위해 치위생 분야에서도 IPE의 중요성이 더욱 부각되고 있다.

실제로 해외에서는 2001년 캐나다 University of British Columbia의 전문가 간 보건교육에 치위생 분야가 투입되었고[6], 최근 네덜란드 Radboud university medical center에서는 치과의사와 치과위생사를 대상으로 임상전문가 간 교육 프로그램(Clinical interprofessional education program, 2020)이 진행되기도 했다[7]. 한편, 국내에서 시행 중인 IPE 현황에 대한 최근 논문[8]에 따르면, 2021년 당시 국내 6개 대학에서 IPE를 시행되고 있었고, 일개 대학에서는 치위생 영역을 포함한 5개 보건의료분야를 대상으로 관련 교육을 시행 중이라고 보고된 바가 있다. 더불어, 아직 문헌으로 보고된 바는 없지만 국내 일부 학회 및 치위생(학)과들에서 다직종 혹은 전문가 간 교육에 대해 논의 및 운영 중이다.

IPE의 원활한 시행을 위해 2009년에 미국의 6개 보건의료 관련 교육 협회에 의해 설립된 ‘Interprofessional Education Collaborative(IPEC)’은 IPE의 핵심 역량 4개를 정의하였고 이를 교육 과정에 적용할 것을 제안하였다. IPEC에서 정의한 이들 핵심 역량 4가지는 ‘직종 간 임상의 가치와 윤리’, ‘역할과 책임감’, ‘전문직간 의사소통’, ‘팀 및 팀워크’로 구성되어 있으며, IPE의 교육 목표로 현재까지 널리 받아들여지고 있다[9]. 핵심 역량의 구체적인 정의는 다음과 같다. ‘직종 간 임상의 가치와 윤리’는 다른 직종의 개인과 협력하여 상호 존중하고 공유된 가치의 분위기를 유지하는 것을 의미한다. ‘역할과 책임감'은 자신의 역할과 다른 직업의 지식을 활용하여 환자의 건강관리 욕구를 적절하게 평가하고 해결하며 인구의 건강을 증진시킬 수 있는 역량이다. 이는, 효율적인 팀을 이루기 위해 서로의 전문직 역할에 대해 이해하고, 서로에게 기대할 수 있는 역할이 어떤 내용인지를 분명히 이해하는 것을 의미한다. ‘전문직 간 의사소통 기술’은 건강 증진 및 유지, 질병 예방 및 치료에 대한 팀 접근 방식을 지지하면서 책임감 있고 즉각적인 방식으로 환자, 가족, 지역 사회 및 전문가와 소통 하는 것을 의미한다. ‘팀 및 팀워크’는 관계 형성 가치와 팀 역학의 원칙을 적용하여 안전하고 시기적절하고 효율적이며 평등한 환자 중심 진료 및 인구 건강 프로그램 및 정책을 계획, 전달 및 평가하기 위해 서로 다른 팀내 역할을 효과적으로 수행하는 것을 의미한다[9].

한편, IPE가 교육과정의 일부로 자리 잡으면서 의료 전문직 전반에 걸쳐 전문직 간 역량을 평가하기 위한 도구의 필요성이 제기되었다[10]. 이에 따라, Readiness for Interprofessional Learning Scale (RIPLS) [11], Self-efficacy for Interprofessional Experimental Learning Scale (SEIEL)[12], Interprofessional Attitudes Scale (IPAS) [13] 등이 개발되었다. 하지만 현재까지 개발된 평가 도구들은 ‘타 직종에 대한 편견’, ‘팀워크 역할과 책임감’과 같이 간접적인 평가 척도를 사용하였고, 학생에게 일어나는 직접적인 교육 효과가 아닌 태도와 인식에 대해서만 조사되었다[13,14]. 따라서, IPE 핵심 역량을 직접적으로 평가할 수 있으며, 태도, 인식뿐만 아니라 행동 변화와 결과 등 교육 과정 전반을 평가할 수 있는 체계적인 도구가 필요하며, 이를 해결하기 위한 모델로는 커크 패트릭 평가 모델이 제시될 수 있다[15].

교육 프로그램의 효과를 평가하는데 가장 널리 사용되는 대표적인 모델 중 하나인 커크 패트릭 평가 모델은 각 교육 프로그램을 반응(Reaction), 학습 (Learning), 행동(Behavior), 결과(Results)의 총 4개의 수준으로 구분되며, 이들 수준은 단계적으로 평가하도록 권고된다[15]. 반응 단계는 전반적인 만족도를 평가하며, 학습 단계는 새롭게 습득한 태도, 지식 및 기술의 변화를 평가한다. 또한, 행동 단계는 습득한 지식, 기술, 태도 등을 실제 현장에서 적용할 수 있는지를 평가하며, 결과 단계는 교육 프로그램의 최종 결과가 무엇인지, 얼마나 조직성과에 긍정적으로 기여하였는지를 평가한다. 이와 같이, 커크 패트릭 모델은 지식과 기술의 향상 정도뿐만 아니라 전문가 개인 행동의 변화와 성과 등 전반적인 교육 내용의 평가가 가능케 하기 때문에 전문가 교육 평가 도구의 틀로 많이 적용된다[16]. 더불어, 교육의 효과를 개인에서 집단까지 확장하여 단계적으로 평가할 수도 있기 때문에 실용적인 결과의 도출이 필요한 교육 프로그램을 평가하는데 알맞은 모델로 알려져 있다[15].

따라서, 본 연구에서는 IPE의 효과를 평가하여 교육의 질 향상에 기여할 수 있도록 IPE 핵심 역량과 직접적으로 관련되며, 커크 패트릭 평가모델에 기반하여 단계별로 구성된 체계적인 평가 도구를 개발하고자 하였다.

본 연구는 을지대학교 기관생명윤리위원회(IRB, Institutional review board)로부터 윤리적 승인(EU22-61)을 받아, 2022년 3월부터 2022년 8월까지 진행되었다. 본 연구의 과정은 <Fig. 1>과 같으며, 먼저 IPE 평가 도구 개발을 위해 분석한 문헌, 평가 도구 및 인터뷰를 기반으로 평가 도구(초안)의 틀과 문항을 구성 및 수정하였다. 그 후 2번에 걸쳐 델파이 조사를 실시하였고, 조사 결과를 기반으로 평가 도구의 재수정을 거쳐 타당도와 신뢰도가 검증된 최종 평가 도구를 개발하였다.

역량에 기반한 교육은 구체적인 학습 목표에 대한 학습자의 수행 결과에 중점을 두고 있으며, 교육 현장과 일상에서의 갭을 최소화 시키는데 효과를 보여 왔다[23]. 이러한 핵심 역량기반 교육을 실행하기 위해서는 먼저 역량 평가를 위한 적합한 평가 도구가 필수적이다[24]. 보건의료 분야에서 부각되고 있는 IPE 또한 교육의 원활한 시행을 위해 2011년 IPEC에서 제시한 핵심 역량 4가지를 교육의 목표로 삼고 있으며[5], 현재까지 Readiness for Interprofessional Learning Scale (RIPLS), Self-Efficacy for Interprofessional Experimental Learning Scale (SEIEL), Interprofessional Attitudes Scale (IPAS) 등의 도구가 IPE를 평가하기 위해 사용되고 있다. 그러나 각 도구들이 IPE 핵심 역량을 평가하기에 한계점이 존재하였으며, 한국 실정에 맞는 IPE 평가 도구는 개발된 적이 없었다. 이에, 본 연구에서는 각 도구들의 한계점을 극복하고, 국내 교육 실정에 맞는 평가 도구를 개발하여 핵심 역량별 IPE 효과를 확인하고자 하였다.

본 연구에서는 IPEC에서 정의한 핵심 역량뿐만 아니라 영문으로 된 RIPLS, IPAS 등의 기존 도구들을 한국어로 번역해 한국 실정에 맞는 표현들로 다듬고 이를 전문가에게 검증하였다. 세부적으로 4가지 핵심 역량을 상호 간 존중, 역할 및 책임감, 의사소통 기술, 팀 협력으로 명시하였고, 일부 어색한 표현들을 수정 및 보완하였다. 특히, IPE 핵심 역량 4가지를 직접 평가 척도로 설정하여 도구를 개발하였기 때문에 선행 평가 도구들과 달리 IPE에 따른 학습자의 핵심 역량을 제대로 평가할 수 있다는 장점이 있다. 1999년 Parsell과 Bligh[11]에 의해 개발된 RIPLS는 학생들의 IPE 학습에 대한 준비 정도를 평가하는 도구이며, 팀워크와 협력, 전문직 정체성, 역할과 책임감 척도로 구성되어 있다. 이 도구는 타당도와 신뢰도가 비교적 높았지만 IPEC에서 제시한 IPE 핵심 역량이 정의되기 전에 개발되었기 때문에 핵심 역량 전체를 평가할 수 없다는 한계가 있었다. IPAS도 2015년 Norris 등[13]에 의해 역량 기반 평가를 목적으로 개발되었으며, 다각적인 요인 분석 하에 팀워크 역할과 책임감, 환자중심적 태도, 타 직종에 대한 편견, 다양성과 윤리, 지역 사회 중심적 태도 척도로 구성되어 있다. 이러한 척도들은 IPEC에서 제시한 핵심역량들과는 다소 거리가 있었기 때문에 핵심 역량을 간접적으로 평가한다는 한계가 있었다[10]. 이에, 본 연구에서 개발된 평가 도구가 IPE와 관련된 핵심 역량을 제대로 평가할 수 있을 것이라 사료된다.

한편, 지금까지 IPE 효과 평가를 위해 다양한 평가 도구가 개발되었으나 학습자의 인식과 태도 평가로 한정돼 있었다[13,14]. 이에, 본 연구에서는 전문적인 교육 평가 모델을 본 도구에 적용하고자 하였고, 단계별 교육의 효과성뿐만 아니라 교육 결과에 대한 전반적인 내용을 평가할 수 있는 커크 패트릭 모델을 사용하였다. 이를 통해 학습자의 지식과 행동 변화뿐만 아니라 교육 결과까지 확인할 수 있는 포괄적인 평가 도구를 개발하고자 하였다. 커크 패트릭 모델을 적용함에 있어 선행 연구를 참고하였고, 전문가의 의견을 반영하여 각 교육 단계별에 적합한 표현들로 문항을 구성하였다. 또한 대부분의 기존 IPE 평가 도구가 자기평가로 이루어져 있어[25] 객관성을 유지하기 어렵다는 문제[26]를 반영하여 본 연구에서는 교수평가와 팀원평가를 삽입하였다. 이와 유사하게 Jung 등[27]의 연구에 따르면 커크 패트릭 모델의 단점으로 평가 주체가 획일화되어있다는 점을 지적하고, 타인에 의한 객관적 평가가 추가되어야 함이 주장된 바 있다. 더불어, 교수평가는 정확성과 객관성이 보장되어 있고[28], 팀원평가는 평가의 타당도와 비교적 높아[29] 평가의 주체로 제안된 바 있다. 이에 따라 결과 단계의 평가 주체로 교육과 직접적으로 연관되어 있는 교수자와 팀원들이 선정되었고, 교육 효과와 관련하여 보다 객관성을 확보할 수 있었다.

또한, 기존 평가 도구와는 달리 본 연구에서는 교육 전과 후를 명확히 구분해 도구를 개발하였다. IPE 평가 도구를 체계적으로 분석한 선행연구[18]에 따르면 대부분의 IPE 평가가 교육 전과 후에 이루어졌음을 알 수 있다. 이때 대부분 연구에서 하나의 IPE 평가 도구를 전후 동일하게 사용하고 있었으며, 학습자의 인식 및 태도 측정으로 한정되어 있었기 때문에 가능했으리라 사료된다. 본 연구에서도 교육의 효과를 비교하기 위해 평가 시점을 교육 전과 후로 구분하였으며, 더 나아가 학습자의 만족도, 학습자의 관련 지식 수준, 행동 변화, 교육 결과 모두를 평가할 수 있도록 단계별로 도구를 구성하여 평가하였다. 이에 따라, 교육 전에는 학습과 행동 단계를 평가하였고, 교육 후에는 반응, 학습, 행동, 결과 단계를 측정하였다. 이를 통해 교육 전후 효과를 체계적으로 비교할 수 있을 것으로 사료된다.

본 연구는 델파이 조사와 Cronbach’s αlpha coefficient를 실시하여 연구의 목적에 맞게 도구의 문항을 수정 및 보완하는 과정을 거쳤으며, 타당도와 신뢰도를 검증하였다. 평가 도구 개발에 있어 도구의 타당도를 측정하는 여러 가지의 방법 중 조사된 자료가 별로 없고 전문가의 합의된 의견이 필요한 경우 델파이 연구 방법을 사용하여 내용 타당도를 측정할 수 있다[21]. 내용 타당도란 측정도구의 내용이 측정하고자 하는 구성개념을 얼마나 적절히 반영하고 있는가를 나타낸 것으로, 본 연구에서는 Lynn[21]이 제시한 내용 타당도 지수(CVI) 방법을 사용하였다. 내용 타당도 분석 결과, CVI 지수 0.8-1.00 범위로, 타당도가 높은 도구임이 검증되었다. 한편, 신뢰도(reliability)는 도구가 얼마나 안정적으로 일관성 있게 측정하는가를 검증하는 것으로[30], 신뢰도를 검증하기 위해서는 검사-재검사 신뢰도, 동형 검사 신뢰도, 반분 신뢰도, 내적 일관성 신뢰도 방법이 있다. 본 연구에서는 내적 일관성을 사용하였는데, 내적 일관성은 하나의 구성을 다항목으로 측정했을 때 각 항목들이 얼마나 일관성 혹은 동질성을 갖는지를 측정하는 것이다[31]. 내적 일관성 측정을 위해서 Cronbach’s alpha가 많이 사용되며, 이는 도구개발 연구에서 신뢰도 측정을 위해 가장 많이 사용된다[32]. 이에 따라, 본 연구에서 Cronbach’s alpha를 이용하여 개발된 최종 평가 도구의 신뢰도를 분석한 결과 값은 0.6 이상으로, 모든 문항들이 신뢰범위 안에 속함을 확인하였으므로 신뢰 가능한 도구라고 할 수 있었다.

본 연구의 제한점은 다음과 같다. RIPLS, IPAS 등의 기존 평가 도구가 20문항 내외인 것을 고려할 때 본 연구에서 개발된 평가 도구의 문항의 수가 다소 많은 것으로 사료되며, 문항 수를 간략화한다면 임상 현장에서도 빠르고 쉽게 이용할 수 있을 것이라 생각된다. 또한 도구개발 과정에서 IPE 교육생을 접한 환자 대상 문항이 삭제되었는데, 그 이유로 일반 환자들은 교수자와 동료 학생에 비해 IPE에 대한 이해도가 떨어져 IPE의 핵심 역량을 구분하거나 확인할 수 없고, 학습자의 각 핵심 역량 수준을 제대로 인지할 수 없기 때문에 평가 주체로서 부적합할 것으로 사료되었기 때문이다. 다만, 선행 연구[33]에서 환자의 피드백이 학생의 의사소통 기술과 임상적인 기술 발달에 있어 학습자의 학습에 긍정적인 영향을 끼칠 것으로 보고된 바 있어, 본 평가 도구와는 별도로 환자 대상의 문항을 고려해볼 필요가 있다고 생각된다.

결론적으로, 본 연구는 체계적인 IPE의 효과 평가를 위해 전문가 교육 평가에 많이 사용되는 모델 중 하나인 커크 패트릭 평가 모델을 사용하여 도구를 단계별로 구분하였으며 더 나아가 IPEC에서 제시한 핵심역량인 상호 간 존중, 역할 및 책임감, 의사소통 기술, 팀협력까지 직접적으로 평가 가능한 도구를 개발하였다. 이 평가 도구는 평가 시점을 교육 사전과 사후로 구분하였고, 이를 통해 교육 전후를 비교함으로써 단계와 핵심 역량별 학습자의 증진 정도를 파악하는 데 유용한 도구로 쓰일 수 있을 것이라 생각된다. 치과 현장은 치과의사, 치과위생사, 치기공사 등 기본적으로 여러 직종이 함께 협력하여 진료를 해내며, 치과위생사는 특히, 직접 환자를 대함에 있어 책임감을 가지고 필요한 부분들을 파악하고 제공해주어야 한다. 이러한 치과임상에서, IPE가 제안하는 ‘상호 간 존중, 역할 및 책임감, 의사소통 기술, 팀 협력’과 같은 핵심 역량들의 함양은 필수적이다. 이 과정에서 본 연구에서 개발한 핵심 역량 평가 도구는 임상가들의 각 역량 수준들을 파악할 수 있게 해주며, 이를 통해 관련 교육의 필요성 제시 및 부족한 교육 단계의 확인을 가능케 할 수 있을 것으로 생각한다. 최종적으로, 궁극적 목표인 환자 중심의 질 높은 구강보건의료 서비스 실현으로 한걸음 더 다가갈 수 있기를 기대하는 바이다.

본 연구는 전문가 교육 평가에 많이 사용되는 모델 중 커크패트릭 평가 모델을 사용하여 평가 도구를 단계별로 구분하였으며 추가로 IPEC에서 제시한 4가지 핵심 역량까지 직접적으로 평가 가능한 도구를 개발하였다. 델파이 조사와 내적일관성 측정을 통해 내용타당도와 신뢰도를 검증하였으며, 본 연구의 결론은 다음과 같다.

1. 본 연구 결과, 커크패트릭 평가 모델과 IPE의 4대 핵심역량으로 구성된 체계적인 교육평가 도구를 개발하였고, 해당 모델은 반응, 학습, 행동, 결과의 4단계로 구성되었으며, ‘상호 간 존중’, ‘역할 및 책임감’, ‘의사소통 기술’, ‘팀 협력’의 4개 역량을 측정할 수 있는 문항으로 구성되었다.

2. 개발된 최종 문항들의 내용 타당도 지수(CVI)는 0.8-1.0이었고, 신뢰도 수준(Cronbach’s alpha)은 0.665-0.962로, 교육 평가 도구로써 수용 가능할 만한 수준으로 평가되었다.

향후, 본 연구에서 개발된 도구를 다양한 IPE의 교육 현장에 적용해본다면, 각 과정의 교육수준 평가 및 필요한 보완요소들을 찾는데 기여할 수 있을 것이라 생각되며, 이를 통해 미래 전문직 간 교육의 질 향상 및 운영 효율화에 도움이 될 수 있기를 기대한다.