ChatGPT로 환자의 질문에 대답하기(vs 실제 의사)

올 해 4월에 JAMA Intern Med에 발표된 논문을 DHP의 최윤섭 대표님이 리뷰한 아티클입니다! 미국의 DC인사이드라고 할 수 있는 레딧에서 사람들이 의사에게 던진 질문을 ChatGPT가 대답하고 실제 의사들의 대답과 비교평가한 내용인데요, 실제 현역 의사 세 명이 블라인드로 평가한 이 결과에서 놀랍게도 ChatGPT(3.5)의 대답의 질, 그리고 공감능력(!)이 더 높은 점수를 받았습니다. (Amazing! 😲) 물론 이 연구에서는 공식적인 내원 결과로 인한 의사의 답변이 아닌 Reddit에 댓글로 달린 답변을 사용하였기 때문에(그래도 실제 의사이긴 합니다만) 그 대답의 퀄리티와 공감능력(길이 등으로 높은 점수가 평가되는 이 부분에서 특히 그럴 수 있습니다)은 ChatGPT가 높은 점수를 받는 것이 이상한 것이 아닐 수도 있습니다. 하지만 논문의 Discussion에서 이야기하는 것처럼 결국 헬스케어와 IT가 접목하는 부분에 있어서 인공지능이 감당할 수 있는 부분과 사람은 사람이 할 수 있는 어렵고 reasoning이 필요한 일들에 집중할 수 있는 단초가 되지 않을까 싶어서 흥미롭네요!