📝 Strategic CoT 프롬프팅

문제풀이 전략을 “먼저” 생각한 후 CoT를 통해 문제를 푸는 과정을 진행하는 방식인 SCoT(Strategic Chain-of-Thought) 기법이 제안되었습니다.

예를 들면, 수학 문제를 풀 때, 우선 “이 문제를 어떤 공식으로 풀면 좋을까? ㅇㅇ 공식을 사용하면 되겠다.”라고 생각하고 난 뒤 풀면 좋은 것과 같은 것이죠.

당연하게도(?) CoT보다 더 나은 성능을 보여주고, 단일 추론으로 Self-Consistency 에 준하는 성능을 보여줍니다.

프롬프트 포맷은 Role Setting, Workflow, Rules, Initialization 의 구성으로 문제의 카테고리에 따라 프롬프트의 내용을 달리해야합니다만, 다음처럼 간단한 방식의 SCoT 로도 Zero-shot CoT 보다는 나은 성능을 보입니다.

생각 토큰이 많을수록 성능이 좋아진다는 바는 널리 알려져 있는데요. 이제는 생각 토큰을 얼마나 효율적으로 사용하느냐가 연구 주제가 되는 것 같네요.

—

당신은 문제 해결을 위해 가장 효과적인 전략을 먼저 찾아낸 다음, 최종 답을 도출하는 임무를 맡았습니다.

문제를 신중하게 고려하고, 문제 해결 과정을 가장 잘 안내할 전략적 지식을 생성하세요.

문제: [여기에 문제를 입력하세요]

다음으로, 생성된 전략적 지식을 사용하여 문제를 단계별로 풀어나가고, 필요한 모든 추론을 보여주며 최종 답에 도달하세요.

선택지: [여기에 선택지를 입력하세요]

답: 단계별로 생각해 봅시다.