Llama 3가 나온 이후 맥 미니와 맥 스튜디오가 불티나게(?) 팔린다는 소식.

Llama 3 8B는 20G 메모리를 가진 GPU는 있어야하고, 70B는 양자화한다고 해도 GPU만 최소 40G 메모리는 필요하다.

그런데, 8B를 돌리려면 GPU 가격만 300만원에 육박하고, 70B를 돌리려면 GPU 가격만 1천만원이 훌쩍 넘는다.

그런데 M2 Max와 64G 메모리를 가진 맥 스튜디오가 단돈(?) 3.5백만원 정도.

다른 PC는 메모리가 이정도가 돼도 안되고 맥만 가능한데, 이는 CPU와 GPU가 메모리를 공유하는 Unified Memory 구조 때문에 가능 한 것.

애플은 가장 먼저 AI 연산 전용 NPU를 칩에 탑재했었는데, 그 때부터 이러한 시대가 올 것을 예상하고 있었는지는 모르겠지만 컨슈머용 하드웨어적으로는 여전히 가장 앞서 있긴 하다.

이제 소프트웨어만 올라오면 될 것 같은데.. 과연 WWDC에서 놀라운 것을 볼 수 있을지? 아닐지? 에 따라 내 주식이.. 🥹🫠😭