Claude에 Prompt Caching 기능이 추가되었습니다. 캐싱 기능 사용시 첫 입력은 25% 비싸지지만, 이후 가격은 1/10, 레이턴시는 1/7로 낮춰줍니다.

개인적으로는 레이턴시 낮춰주는게 매력적인데요. 검색이나 데이터 처리, 코딩, 일반적인 채팅 서비스는 물론, 실시간 음성 대화 서비스 같은 걸 만든다고 하면 더더군다나 응답 레이턴시가 사용자 경험에 큰 영향을 미치기 때문입니다.

특히 RAG를 최소화하거나 사용하지 않도록 필요한 정보를 시스템 프롬프트에 최대한 우겨넣고 서비스를 해도, 비용 뿐 아니라 레이턴시면에서 손해를 보지 않으면서 더욱 정확한 정보를 제공 할 수 있으니까요.

Anthropic이 최근 응용 면에서도 꽤 빠르게 추격하거나 앞서나가고 있는 모양새인데요. 과연 Anthropic이 OpenAI를 뛰어넘을 수 있을까요? 오늘도 팝콘 하나 더 뜯어봅니다. 😎🍿🥤