🧮 자동화를 위한 코드를 LLM으로 완전히 대체하게 될 시점은 어느때가 될까? 하고 있는 작업으로 대략 계산해보니 Llama 70B 수준의 모델을 2,000TPS (token/s) 정도로 사용

🧮 자동화를 위한 코드를 LLM으로 완전히 대체하게 될 시점은 어느때가 될까? 하고 있는 작업으로 대략 계산해보니 Llama 70B 수준의 모델을 2,000TPS (token/s) 정도로 사용 할 수 있을 시점일 듯. API의 latency가 300ms 이하로 떨어져야 본격적으로 쓸 수 있을 것인데, JSON Response가 평균적으로 300~500토큰 정도를 사용(물론 천차만별이지만)하니까, 2,000TPS 정도는 되어야 첫번째 토큰이 나오기까지의 응답시간을 포함해 전체 응답 시간이 300ms 전후가 될 것. 그리고 속도와 가격이 거의 비례하므로, 1M 토큰당 약 50~100원 정도가 될 수 있고, 그러면 1M ‘API 콜’당 약 2~5만원으로 어느정도 합리적인 가격이 된다.