KMCRIC

저자 및 기관: 김준동 (가천대학교 한의과대학 생리학교실), 이혜윤 (부산대학교 한의학전문대학원), 김지환 (가천대학교 한의과대학), 김창업 (가천대학교 한의과대학 생리학교실)

발표 저널: 대한한의학회지

원문 링크:

https://www.kci.go.kr/kciportal/ci/sereArticleSearch/ciSereArtiView.kci?sereArticleSearchBean.artiId=ART003057037

인공지능 챗봇으로 CPX 실전 연습 가능하다

프롬프트 엔지니어링 통한 CPX 챗봇 개발

병력 청취와 환자 면담 참여 기능 구현…추후 음성 인식도

대한한의학회지 3월 호 게재

전 세계적으로 ‘학습자가 무엇을 알고 있으며 그것을 실제로 할 수 있는가’에 초점을 맞추는 역량 중심, 성과 중심 교육이 강조되고 있다. 한의학 교육계에서도 마찬가지로 임상 현장을 반영하는 다양한 역량 기반 교육 모형을 개발·제시하고 있다.

특히 진료 수행 시험 (Clinical Performance Examination, CPX)은 표준화 환자를 대상으로 모의 진료 상황을 시연하는 학생의 역량을 평가해, 병력 청취·신체 진찰뿐 아니라 환자 교육을 포함하는 면담 과정까지 학생이 능동적으로 참여해야 하는 시험으로 역량 중심 교육 측면에서 큰 교육적 의미가 있다.

이에 김준동 연구원 (가천대학교 한의과대학 생리학교실)은 프롬프트 엔지니어링 기법을 활용해 비용 효율적인 방식으로 거대 언어 모델을 활용한 인공지능 챗봇 (CPX Practicing Chatbot)을 시범적으로 개발했다.

연구진들은 2022년 발표된 ChatGPT 대화형 서비스를 이용해 챗봇을 구현하고, 학생들에게 가상의 인공지능 환자를 대상으로 진료 경험을 쌓을 수 있는 기회를 제공하고자 했다.

챗봇 구현 과정은 데이터 가공 (Data preprocessing)-프롬프트 엔지니어링 (Prompt engineering)-챗봇 구현을 위한 코드 스크립트 (code script)-CPX Practicing Chatbot 성능 평가의 단계로 진행했다.

우선 데이터는 한국한의약진흥원에서 개발한 한의표준임상진료지침 연계 진료 수행 평가 교육 도구 중 ‘17-2 본태성 고혈압 시나리오’를 제공받아 사용했다. 시나리오 자료 중 △사례 관리표 △상황 지침 △채점표 △표준화 환자 시나리오의 네 개 항목을 텍스트 형식으로 가공해, 프롬프트 내 ‘Context 1’ 요소로 추출했다.

구체적인 표준화 환자의 임상 표현이나 맥락을 담은 정보는 ‘Context 1, 2’로 작성했으며, 챗봇의 역할과 주의사항을 전달하기 위한 지시문은 ‘Instruction 1~4’로 구분하여 프롬프트를 작성했다.

프롬프트는 Instruction과 Context를 번갈아 구성하고, 동시에 role prompting, few-shot prompting 두 가지 기법을 반영했다. Role prompting은 LLM이 해당 작업에 더욱 몰입할 수 있도록 구체적인 역할을 지정해 주는 방법이고, few-shot prompting은 몇 가지의 예시를 들어 LLM이 해당 작업을 더욱 쉽게 이해할 수 있도록 유도하는 방법이다.

이후 챗봇 구현을 위해 GPT-4의 API를 호출, 앞서 작성한 프롬프트를 모델의 첫 번째 input으로 입력했다. 학생 한의사와의 모의 진료를 본격적으로 시작하기 전에, 챗봇이 내부적으로 미리 한 쌍의 대화를 주고받도록 했으며, 이를 통해 대화 초반에 환자로서의 설정이 공고히 유지되도록 했다.

마지막으로 챗봇 평가에서는 33개의 질문지를 구성한 후 출력된 챗봇의 답변을 △Correctness △Compliance △Hallucination △Naturalness △Confidentiality 다섯 가지 기준에 따라 평가해 점수를 부여했다.

챗봇 성능 평가 결과, △Correctness △Compliance △Hallucination 점수는 비교적 만점에 가까웠다. 그러나 대화의 Naturalness (자연스러움)과 Confidentiality (기밀성) 유지에 있어서는 비교적 나쁜 평가를 받았다.

김준동 연구원은 “현재 구현한 챗봇은 모의 환자의 역할에 충실해 병력 청취와 환자 면담 과정에 참여하는 기능만 구현돼 있다”라며 “향후 챗봇과 학생 한의사 사이의 대화 기록을 분석하여 피드백 리포트를 작성해 주는 기능을 개발하고자 한다”라고 밝혔다.

또한 향후 챗봇에 음성을 입혀 실시간 대화를 수행할 수 있도록 개선하고, 다양한 시나리오를 가지고 있는 연습용 챗봇 개발 등 앞으로의 발전 방향에 대한 구체적 탐색을 보고했다.

김준동 연구원은 “한의사는 병력 청취와 망문문절을 통해 질환 진단뿐 아니라 변증 진단까지 동시에 수행해야 하기 때문에 타 의료계 직군보다 통합적인 진찰 역량을 요한다”라며 “따라서 병력 청취를 포함하는 CPX 교육은 한의학을 전공하는 학생들에게 중요한 교육적 의미가 있을 수 있다”라고 전했다.

한편 김준동 (제1저자)·이혜윤 (부산대학교 한의학전문대학원)·김지환 (가천대학교)·김창업 (가천대학교) 교수가 참여한 이번 연구는 ‘프롬프트 엔지니어링 (Prompt Engineering)을 활용한 ‘진료 수행 시험 연습용 챗봇 (CPX Practicing Chatbot)’ 시범 개발’이라는 제목으로 대한한의학회지 3월 호에 출판됐다.

출처: https://www.akomnews.com/bbs/board.php?bo_table=news&wr_id=57525