📝 Whiteboard-of-Thought 프롬프팅

인간은 시각적 사고가 필요한 질문에 대해 자연스럽게 사고 방식을 전환해서 심상(mental image)을 형성하거나 시각적으로 표현한 뒤 추론에 사용하는데요.

Whiteboard-of-Thought (WoT)도 비슷하게 모델에 ‘화이트보드’를 제공하여, 추론 단계를 이미지로 그리도록 하고, 이러한 이미지를 다시 모델에 제공하여 최종 추론을 생성하는 방법입니다.

Chain-of-Thought (CoT) 방식으로 0% 정확도를 보이는 설정에서도 WoT로 최대 92%의 정확도를 달성 할 수 있었다고 합니다.

방법은 다음처럼 ChatGPT의 코드 인터프리터를 이용하면 쉽게 사용 할 수 있습니다. Assistant API를 사용할 수도 있겠고요.

1️⃣ Matplotlib 및 Turtle과 같은 라이브러리를 사용해서 사용자의 요청을 시각화하라고 요청합니다.

2️⃣ 앞서 요청으로 만든 이미지와 주고 사용자의 질문에 답하도록 요청합니다.

참 쉽죠? 😆 다만 논문에서 진행한 실험은 분야가 제한적이긴 합니다. 그래도 상식적으로(?) 그럴거라 생각했던건데 실험적으로도 그렇게 나온다니 신기하고 재밌네요.

분야나 목적에 따라 DALL-E 같은 것으로 이미지를 그리게 한 후 이를 이용하는 방법도 좋은 결과를 낼 수 있을 것 같은데요. 이것도 한 번 실험해 봐야겠습니다.