Prompt caching with Claude
www.anthropic.com
앤스로픽이 클로드 모델 “프롬프트 캐싱” 기능을 발표하였습니다. 이 기능은 GenAI 서비스의 응답속도와 비용을 크게 개선하는 효과를 가져올 수 있습니다. 예를 들어, 앤스로픽은 책에 관한 대화의 응답 속도를 79% 비용은 90%까지 절감하는 효과를 이 캐싱 기능을 통해 확인했다고 합니다. 반복되는 요청에 높은 퍼포먼스가 필요하지만, 비용 때문에 경량화 모델만 고려하셨던 고객들에게는 좋은 옵션이 될 것 같네요!
https://www.anthropic.com/news/prompt-caching
더 많은 콘텐츠를 보고 싶다면?
이미 회원이신가요?
2024년 8월 16일 오전 7:53