📝 높은 성능의 Llama 3와 매우 빠른 추론 속도의 인프라를 제공하는 Groq가 만나니 정말 대단하네요. 70B 풀모델 기준으로, 추론 속도는 280TPS, 가격은 1백만 토큰당 평균 USD

📝 높은 성능의 Llama 3와 매우 빠른 추론 속도의 인프라를 제공하는 Groq가 만나니 정말 대단하네요. 70B 풀모델 기준으로, 추론 속도는 280TPS, 가격은 1백만 토큰당 평균 USD 1달러가 채 안됩니다. 즉, 성능은 가장 높은 Claude 3 Opus나 GPT-4 수준인데, 속도와 가격은 클로즈드 LLM API 중 가장 저렴한 Claude 3 Haiku 수준이라는 이야기. AI의 대중화가 훨씬 앞당겨진 것 같습니다.