본 논문에서는 Zero-Shot CoT를 응용해 토큰수를 줄이면서도 더 높은 성능을 만들 수 있는 Constrained-CoT 라는 기법을 제안합니다.
프롬프트는 간단하게 다음과 같은데요. Zero-Shot CoT에 답변 길이를 제한하는 지시를 덧붙이는 것 입니다.
“Let's think a bit step by step and limit the answer length to 45 words.”
LLaMA2-70b에 대해 답변을 100단어로 제한하도록 하니, GSM8K에서 정확도가 36.01%(CoT)에서 41.07%(CCoT)로 향상되는 동시에 평균 출력 길이가 28단어 감소했다고 합니다.
다만, 일부 오픈소스 모델에만 실험을 한 것이라 모든 모델에 대해 작동함을 보장하진 않는데요. 하지만 간단한 방법으로 시간과 비용을 줄여줄 수 있는 것이니, 한 번씩 실험해보면 좋을 것 같네요.
논문 링크 👉 https://arxiv.org/abs/2407.19825
추천 도서 🤭 https://product.kyobobook.co.kr/detail/S000213362002
추천 강의 🤗 https://fastcampus.co.kr/data_red_golbin
다음 내용이 궁금하다면?
이미 회원이신가요?
2024년 8월 1일 오전 9:06