Medprompt 라고 명명한 프롬프트 엔지니어링을 통해서 Med-PaLM 2와 같은 최신의 전문가 모델을, 모델 호출 횟수가 훨씬 적음에도 불구하고 큰 차이로 능가 할 수 있었다고 합니다.

MedQA 데이터세트(USMLE 시험)에서 지금까지 전문가 모델로 달성된 최고 방법보다 오류율을 27% 줄이며 처음으로 90% 이상의 점수를 넘어섰다고 하는데요.

의학 문제 뿐 아니라, 전기공학, 기계학습, 철학, 회계, 법률, 간호 및 임상 심리학 시험 등 다른 분야로 일반화할 수 있어 넓은 적용 가능성이 있다고 합니다.

사용한 방식은 잘 만든 기본적인 프롬프팅에 더해, 훈련 데이터에 대해 답을 잘 맞춘 CoT 샘플을 미리 저장해 둔 뒤, 벡터 서치를 사용해 질문과 유사도가 높은 샘플을 찾아 컨텍스트로 넣어주고, Self- Consistency 를 약간 개선한 방식으로 답변을 선택하는 방법입니다. (첨부 이미지의 알고리즘 참고)

LLM Foundation Model의 성능이 지금보다 좋아질 것은 의심의 여지가 없는 일이니, 앞으로 대부분의 경우 모델을 파인튜닝하는 것이 불필요해 질 것은 자명한 일인 것 같습니다.

논문: https://arxiv.org/pdf/2311.16452.pdf