Amazon Bedrock 지능적 프롬프트 라우팅 및 캐싱을 통해 비용 및 지연 시간 단축 (미리보기) | Amazon Web Services
Amazon Web Services
AI 비용을 90% 지연 시간을 85% 단축하는 프롬프트 캐싱
Prompt Caching은 AI 모델의 성능을 최적화하고 비용을 절감하는 강력한 기술입니다. 이 기능은 반복적으로 사용되는 프롬프트를 저장하여 처리 시간을 단축하고 비용을 줄이는 데 도움을 줍니다
작동 원리
프롬프트 캐싱은 다음과 같이 작동합니다:
자동 활성화: 1024 토큰 이상의 프롬프트에 대해 자동으로 적용됩니다.
캐시 조회: 시스템은 프롬프트의 초기 부분(접두어)이 이미 캐시에 저장되어 있는지 확인합니다.
캐시 히트: 일치하는 접두어가 발견되면 캐시된 결과를 사용하여 처리 시간과 비용을 줄입니다.
캐시 미스: 일치하는 접두어가 없으면 전체 프롬프트를 처리하고 향후 사용을 위해 접두어를 캐시합니다.
캐시 유지 시간: 캐시된 프롬프트는 일반적으로 5~10분 동안 유지되며, 비피크 시간에는 최대 1시간까지 유지될 수 있습니다.
Amazon Bedrock Prompt Caching – 여러 모델 간접 호출에서 자주 사용하는 컨텍스트를 프롬프트에 캐시할 수 있습니다. 이 기능은 사용자가 동일한 문서에 대해 여러 질문을 하는 문서 Q&A 시스템이나 코드 파일에 대한 컨텍스트를 유지해야 하는 코딩 도우미와 같이 동일한 컨텍스트를 반복적으로 사용하는 애플리케이션에 특히 유용합니다. 캐시된 컨텍스트는 각 액세스 후 최대 5분 동안 사용할 수 있습니다.
Amazon Bedrock의 프롬프트 캐싱은 지원되는 모델의 비용을 최대 90%, 지연 시간을 최대 85% 절감할 수 있습니다.
https://aws.amazon.com/ko/blogs/korea/reduce-costs-and-latency-with-amazon-bedrock-intelligent-prompt-routing-and-prompt-caching-preview/
다음 내용이 궁금하다면?
이미 회원이신가요?
2024년 12월 31일 오후 12:40
댓글 0
함께 읽은 게시물
혼다가 재사용로켓 시험발사에 성공. 시험체는 홋카이도 다이키에서 271 m 상공까지 도달한 후 무사히 착륙.
... 더 보기
📙 린 UX 및 애자일 용어집
🎈 한 줄 요약
- 린 UX와 애자일에서 사용하는 주요 용어와 애자일 개념을 정리해놨어요.
✔️ 오늘은 린 UX와 애자일 개념에 관해 정리해놓은 좋은 아티클을 발견했어요. 영어로 돼 있는 것을 보면 알겠지만, 제가 찾은 건 아니고요. 아는 분이 찾아서 올려주셨는데, 내용이 좋아서 정리하려고 가지고 왔어요.
✔️ 린한 분위기와 애자일한 분위기(?)에서 사용할 수 있는 용어집인데요. 정리도 깔끔하고, 정리도 깔끔해, 위 두 가지 방법으로 팀을 꾸려나가는 회사에는 잘 어울리지 않을까 싶어요. 총 용어는 30여개 정도 되... 더 보기
PM을 위한 상황별 프롬프트가 잘 정리되어 있는 곳!
