📝 LLM API의 대중화가 왔다. 1년만에. 벌써.

어떤 기술이든 대중화가 되려면 가격이 시장에서 받아들여지는 수준이 되어야 한다. 그런면에서 가격을 한 번 살펴보았다. 효율적인 추론 인프라를 가진 Groq에서 Llama 3 8B의 가격이 1백만 토큰당 약 USD 0.75 달러. Llama 3 8B는 GPT-3.5를 능가하는 모델로, 작은 작업에 사용하기에는 충분하다. 평균적으로 사용하는 토큰수를 정의하긴 어렵지만, 표준 Lorem ipsum이 토큰 약 100개로 이루어져 있으므로 이를 기준으로 계산 해 보면, 1백만 작업당 약 7.5달러 정도가 된다. 작업의 비교가 정확하게 되는 건 아니지만, 현재의 클라우드 인프라 중 가벼운 작업에 사용하는 Edge Function에 비교 해 볼 수 있겠다. Edge Function의 가격은 Vercel 등의 유명한 플랫폼들에서 보통 1백만 호출당 USD 2달러로 가격이 책정되어 있다. 🧮 Llama 3 8B 가격은 이의 약 3.75배 정도. 작년 이맘때만해도 비용이 얼마나 나올까 부들부들 떨면서 썼는데 벌써 부담이 크지 않게 됐다. 게다가 LLM의 가격은 계속 저렴해지고 있으므로, 비용 걱정 없이(는 아니겠지만😅) 마구 쓸 수 있는 날도 얼마 남지 않은 것 같다.