KMCRIC

영상분석에 기반한 설진시스템 (TDS)의 설태 두께 판별능의 타당도와 신뢰도 평가

Kim J, Han G, Ko SJ, Nam DH, Park JW, Ryu B, Kim J. Tongue diagnosis system for quantitative assessment of tongue coating in patients with functional dyspepsia: A clinical trial. J Ethnopharmacol. 2014 Aug 8;155(1):709-13. doi: 10.1016/j.jep.2014.06.010.

clinical trials for criterion validity, test-retest reliability, inter-rater and intra-rater reliability

임상연구를 진행하여 설진시스템 (TDS)의 준거 타당도, 검사-재검사 신뢰도, 평가자 간 신뢰도, 평가자 내 신뢰도를 연구

20세 이상의 기능성 소화불량 (FD)으로 진단된 환자 60명, 5년 이상의 임상경험이 있는 한의사 5명

해당없음.

해당없음.

높은 타당도와 신뢰도를 가진 설진시스템 (TDS)을 통하여 설태의 두께를 객관적으로 측정하는 것이 가능하며, 이는 한의 진단을 보다 객관화하고 표준화하는 데 기여할 수 있음.

저자들은 한의학의 중요한 진단 지표인 설태의 후박 정도를 자동 판별하는 시스템에 대한 타당도와 신뢰도 지표 연구를 수행하였습니다. 전문가 집단의 진단을 표준 (gold standard)으로 하여 설진시스템 (TDS) 측정치와의 일치도에 대해 0.840의 weighted kappar를 보임으로써 높은 준거 타당도 (동시 타당도)를 검증/획득하였습니다. 시스템의 신뢰도는 검사행위 전반의 신뢰도를 검증하는 검사-재검사 설계를 이용하였으며, weighted kappa 계수가 0.851로 매우 높은 검사-재검사 신뢰도를 얻었습니다. 전반적으로 연구 설계는 진단/평가도구의 전형적인 타당도 신뢰도 검증 절차를 잘 따랐으며, 기능성 소화불량이라는 객관적인 진단지표를 통해 inclusion criteria를 적절히 설정하여서 연구의 완성도를 높였습니다. 내용상 표준 총의에 대한 검증 부분 (전문가 5인의 평가자 내 신뢰도, 평가자 간 신뢰도)과 TDS의 타당도/신뢰도에 대한 검증 부분 (동시 타당도, 검사-재검사 신뢰도)으로 구성되어 있는데, 내용 전개상 전자에 대한 검증 후 후자에 대한 검증이 이어져야 하나 본문상으로는 약간 혼재되어 서술한 경향이 있습니다. 전문가 집단의 평가자 간 신뢰도가 Fleiss' kappa 상 0.563으로 비교적 낮은 점과 그에 따라 표준 진단을 다수결로 정할 수밖에 없었던 점이 아쉽습니다. 원칙적으로 설태의 후박과 같은 서열형 척도에는 Fleiss' kappa가 아닌 Kendall's coefficient of concordance를 사용하여야 하며, 표준 진단을 정할 때에도 다수결이 아닌 서열형 척도임을 유의하여 정하는 것이 좋습니다. 또한, TDS의 설태 평가능을 검증하기 위해 설태를 직접 채취하여 질량을 측정하였다고 하나 이에 대한 절차와 규약이 자세히 서술되어 있지 않습니다.
이러한 몇 가지 아쉬움에도 불구하고 본 연구는 한의 진단의 자동화 및 정량화, 객관화 가능성을 보여주었으며, 한의 중재술의 효과를 한의학적으로 평가하는 데 중요한 역할을 할 시스템의 타당성, 신뢰성 확보라는 측면에서 가치를 찾아볼 수 있습니다.