KMCRIC

한의사 간 진단 일치도는 어느 정도인가?

Jacobson E, Conboy L, Tsering D, Shields M, McKnight P, Wayne PM, Schnyer R. Experimental Studies of Inter-Rater Agreement in Traditional Chinese Medicine: A Systematic Review. J Altern Complement Med. 2019;25(11):1085-96. doi: 10.1089/acm.2019.0197.

한의사 간 진단 일치도를 보고한 연구 대상으로 수행한 체계적 문헌고찰 연구

한의 임상의 간의 진단 일치도 정도 (수준)을 평가하기 위함.

성인 (미국, 노르웨이, 호주, 중국, 영국)

해당사항 없음 (본 리뷰는 진단 일치도 연구에 대한 리뷰로 각 연구마다 다양한 질환과 다양한 중재를 받음).

해당사항 없음.

전반적으로 한의학적 진단에서 낮은 평가자 간의 일치도를 보였으며 대부분의 연구에서 방법론적인 부분과 보고에서 중요한 결함이 있었다. 하지만 결과에서 한의사 간 진단 일치도를 개선할 수 있는 가능성을 제안하였으며 향후 방법론적으로 잘 통제된 우수한 연구가 많이 필요하다.

한의학에서 변증은 질병 진단의 근본이며, 증후에 대한 분석과 판단이다 [1]. 그러나 이러한 진단 행위는 한의사의 주관적 판단에 의존하기 때문에 그 객관성에 대한 입증의 어려움으로 한의학적 치료 효과의 객관적인 평가에 있어서 소위 근거중심의학적 연구에 많은 제한을 받고 있다 [1,2]. 이에 한의학 이론에 근거한 한의학적 진단 방법 및 치료법의 표준화가 선행되어야 함은 강조할 필요가 없다.
본 연구에서는 임상의 간의 진단 일치도 (inter-rater agreement) 정도 (수준)에 대해 단순 일치도 (rates of pairwise agreement or total percent agreement)와 카파 통계량 (Cohen’s kappa)을 비교 분석하는 체계적 문헌고찰을 수행하였다. 총 21개 문헌이 선정되었으며 이 중 14개 문헌은 한의 진단 (diagnosis)에 대한 평가자 간 일치도, 2개 문헌은 한의 진단법에 의한 증후 (diagnostic signs)에 대한 평가자 간 일치도, 그리고 5개 문헌은 한의학적 개념에 근거한 새로운 평가 방법 (novel rating schemes)에 대한 평가자 간 일치도를 조사한 문헌으로 구분되었다.
여기서 9개 문헌에서의 평균 단순 일치도는 57% (중위수 65, 범위 19-96)였으며 6개의 문헌에서의 평균 카파값은 0.34 (중위수 0.34, 범위 0.07-0.59)로 전반적으로 한의학적 진단에 대한 평가자 간의 일치도가 낮음을 보여주고 있다. 또한 포함된 대부분의 연구가 높은 비뚤림과 혼란 변수 및 통계적 보고에 대한 결함을 보였다. 결과 측정치 (outcome measures)의 이질성으로 인해 메타분석은 시행하지 않았다.
진단 방법에서의 일치도 평가는 평가자 간 혹은 평가자 내 일치도 평가, 재현성 평가, 골드 스탠다드 (gold standard)와의 일치도 평가 등 다양한 이슈가 있다. 그중 평가자 간의 일치도 평가 연구에서 진단 결과가 범주형 자료로 요약되는 경우 전체 일치 백분율 (total percent agreement)과 카파 통계량(Cohen's kappa) [3]이 대표적으로 사용된다. 카파 통계량은 전체 자료에서 일치하는 확률인 단순 일치율에서 두 평가자의 진단에서 주변 확률의 영향력을 보정한 값이라고 할 수 있다. 그러나 전체 일치 백분율은 높지만 낮은 kappa 값을 보이는 카파 역설 (kappa paradox)이나 분석 자료의 범위가 넓을수록 (혹은 분석 자료가 이질적일수록) 높은 상관 계수 값을 갖는 등의 문제로 인해 AC1 (Gwet's AC1 statistic) 등과 같은 통계량으로 일치도 평가를 시행하기도 한다 [4,5].
본 연구의 의미와 한계점을 살펴보면 중국어를 포함한 다양한 언어권의 자료를 포괄적으로 분석하지 못했다는 점과 동료 평가 (peer-review) 과정을 거친 문헌에 제한하여 회색 문헌 및 비출간 문헌 검색이 이루어지지 못해 무엇보다 출판 비뚤림 위험성을 가지고 있으며 이에 따른 영향력을 제대로 평가하기 어렵다는 것이다. 또한 본 연구에 포함된 연구 설계와 평가 방법 (rating schemes) 및 결과 측정치의 이질성으로 인해 메타분석이 불가능하여 측정된 결과의 확실성 정도를 평가하기는 어려웠다. 본 연구에서도 언급되었듯이 여기서 한의학적 진단은 전반적으로 낮은 평가자 간의 일치도를 보였으나 몇몇 연구에서 나온 방법론을 통해 평가자 간 일치도를 개선할 수 있는 방안을 고려해 볼 수 있다는 데 있어서 의미를 둘 수 있겠다. 이러한 일환으로 이 등 [6]은 어혈 진단 설문 도구의 기존 표준 작업 지침서 업데이트 작업을 통해서 평가자 간 일치도를 개선하는 성과를 얻었다. 한편, 구조화된 진단 설문 도구나 추가적인 진단학적 교육이 이루어진다고 해도 진단 일치도 개선을 보이지 않은 연구도 보고되고 있다 [7]. 이와 관련하여 앞으로 현대적 기기 활용과 표준화된 객관적 지표를 바탕으로 보다 더 많은 한의 진단 및 치료 결과 평가에 대한 신뢰도 연구가 이루어지길 기대해본다.