프롬프팅을 할 때 JSON 대신 CSV를 써서 토큰 수 절약하기

F-Lab에서는 멘토링 녹화 동영상에서 클로바 STT로 텍스트를 추출하여 이 데이터를 가지고 프롬프팅을 통해 1차 정제를 거친 후, 거기서 인사이트를 뽑아내고 컨텐츠를 만들어내는 등 정형화를 하고 있습니다. 하지만 녹화본이 기본적으로 1시간 분량이다보니 이 텍스트를 가지고 프롬프팅을 하면 어마어마한 금액이 들어갔습니다. 특히 정제 단계에서요. (GPT4 터보를 쓰고 있습니다) 안그래도 많은 텍스트를 처리해야하는데 이 것의 출력을 JSON으로 하니 형식을 표현하기 위한 문자열이 많이 들어가 CSV 형태로 출력을 변경하게 되었습니다. CSV는 Separator와 개행 문자 정도만 있으면 되기 때문에 필요한 문자의 수가 크게 줄어듭니다. 실제로 이렇게 했을 때 약 30%의 토큰을 절약할 수 있었습니다.