인간은 시각적 사고가 필요한 질문에 대해 자연스럽게 사고 방식을 전환해서 심상(mental image)을 형성하거나 시각적으로 표현한 뒤 추론에 사용하는데요.
Whiteboard-of-Thought (WoT)도 비슷하게 모델에 ‘화이트보드’를 제공하여, 추론 단계를 이미지로 그리도록 하고, 이러한 이미지를 다시 모델에 제공하여 최종 추론을 생성하는 방법입니다.
Chain-of-Thought (CoT) 방식으로 0% 정확도를 보이는 설정에서도 WoT로 최대 92%의 정확도를 달성 할 수 있었다고 합니다.
방법은 다음처럼 ChatGPT의 코드 인터프리터를 이용하면 쉽게 사용 할 수 있습니다. Assistant API를 사용할 수도 있겠고요.
1️⃣ Matplotlib 및 Turtle과 같은 라이브러리를 사용해서 사용자의 요청을 시각화하라고 요청합니다.
2️⃣ 앞서 요청으로 만든 이미지와 주고 사용자의 질문에 답하도록 요청합니다.
참 쉽죠? 😆 다만 논문에서 진행한 실험은 분야가 제한적이긴 합니다. 그래도 상식적으로(?) 그럴거라 생각했던건데 실험적으로도 그렇게 나온다니 신기하고 재밌네요.
분야나 목적에 따라 DALL-E 같은 것으로 이미지를 그리게 한 후 이를 이용하는 방법도 좋은 결과를 낼 수 있을 것 같은데요. 이것도 한 번 실험해 봐야겠습니다.
다음 내용이 궁금하다면?
이미 회원이신가요?
2024년 6월 25일 오후 4:27
💁🏻♀️ 프롬프트 엔지니어링 강의 및 책 추천 영상 강의 📽️👉 https://fastcampus.co.kr/data_red_golbin 도서 베스트셀러 🤭👉 https://product.kyobobook.co.kr/detail/S000213362002