AI 추론 전용 칩을 만드는 회사인 Cerebras가 추론 서비스를 런칭했는데요. 속도가 정말 어메이징합니다.


Llama3.1-70B 추론시 450 Token/s 로, 속도가 미쳤다고했던 Groq에 비해서도 거의 두배 가까운 속도를 보여줍니다. 가격도 저렴하고요.


Llama-3.1 8B, Gemini-1.5 Flash가 200TPS 정도 수준이니 정말 어마어마한 속도가 아닐 수 없습니다. 그야말로 성능과 속도 둘 다 잡은 격이네요.


아무튼 이제 추론 서버도 전쟁이 시작되는 것 같은데요. 과연 이 시장에서 Nvidia가 어떻게 나올지 궁금합니다. 물론 학습용 그리고 범용(?!) GPU로는 아직 절대적이긴하지만요.

더 많은 콘텐츠를 보고 싶다면?

또는

이미 회원이신가요?

2024년 8월 28일 오후 5:59

댓글 0

    함께 읽은 게시물

    기본적으로 알아야 할 머신러닝 알고리즘 10

    머신러닝을 공부하면서 늘 헤깔리는 것중에 하나가 알고리즘 부문인 거 같습니다. 마침, 이 알고리즘을 깔끔하게 정리한 글이 있어 공유해 봅니다. 데이터 영역에 관심있는 분들 뿐만 아니라 머신러닝이나 AI에 관심있는 분들은 원문을 꼭 일독하시길 강추(!)합니다~^^ 📜 지도학습 👉 선형회귀, 로지스틱 회귀, K-최근접 이웃, 나이브 베이즈, 결정 트리, 랜덤 포레스트, XG부스트, 라이트GBM, 📜 비지도학습 👉 K-평균 군집화, 주성분 분석(PCA) 🔔 선형 회귀(Linear Regression) 🚩 문제 유... 더 보기

    확실히 알아두면 만사가 편해지는 머신러닝 10가지 알고리즘 | 요즘IT

    요즘IT

    확실히 알아두면 만사가 편해지는 머신러닝 10가지 알고리즘 | 요즘IT

     • 

    저장 96 • 조회 3,658


    < 뛰어난 리더는 '시간'을 가장 까다롭게 쓴다 >

    1. 관리자 업무 중 상당한 부분을 차지하는 일은 인력, 돈, 자본 등의 자원을 할당하는 것이다.

    ... 더 보기

    < 애플을 구한 건 스티브 잡스의 '두 번째 버전'이었다 >

    1. 20대의 스티브 잡스가 했던 행동과 50대에 그가 보여주었던 효율적인 리더십을 혼동하면 안 된다.

    ... 더 보기

    👋 디자이너도 앱을 만들 수 있을까?

    ... 더 보기

    디자이너도 앱을 만들 수 있을까?

    Brunch Story

    디자이너도 앱을 만들 수 있을까?

    AI(LLM) 애플리케이션의 발전 속도가 AI 지능(능력)의 발전 속도를 따라가지 못하고 있는 상태가 되었다. 즉, 이제 AI가 부족한 것이 문제가 아니라, AI의 능력을 100% 활용하지 못하고 있는 것이 문제인 상태가 되었다는 이야기.


    🌎 해외에서 일하면 뭐가 좋을까요❓

    외국어를 사용해서? 돈을 더 많이 벌어서? 새로운 기회가 많아서? 글로벌 경력을 쌓을 수 있어서?

    ... 더 보기