📝 성능도 높이고 토큰수도 줄이는 CCoT

본 논문에서는 Zero-Shot CoT를 응용해 토큰수를 줄이면서도 더 높은 성능을 만들 수 있는 Constrained-CoT 라는 기법을 제안합니다.


프롬프트는 간단하게 다음과 같은데요. Zero-Shot CoT에 답변 길이를 제한하는 지시를 덧붙이는 것 입니다.


“Let's think a bit step by step and limit the answer length to 45 words.”


LLaMA2-70b에 대해 답변을 100단어로 제한하도록 하니, GSM8K에서 정확도가 36.01%(CoT)에서 41.07%(CCoT)로 향상되는 동시에 평균 출력 길이가 28단어 감소했다고 합니다.


다만, 일부 오픈소스 모델에만 실험을 한 것이라 모든 모델에 대해 작동함을 보장하진 않는데요. 하지만 간단한 방법으로 시간과 비용을 줄여줄 수 있는 것이니, 한 번씩 실험해보면 좋을 것 같네요.


논문 링크 👉 https://arxiv.org/abs/2407.19825


추천 도서 🤭 https://product.kyobobook.co.kr/detail/S000213362002


추천 강의 🤗 https://fastcampus.co.kr/data_red_golbin

다음 내용이 궁금하다면?

또는

이미 회원이신가요?

2024년 8월 1일 오전 9:06

댓글 0