제가 아는 업체도 주문한지 6개월이 지났는데, 아직도 공급을 못받고 있는 엔비디아 H100.

예전 메인프레임이후로 이런 H/W 부품에 줄서기(?) 보는것도 오랜만인거 같습니다.-.-

1. 상황

• "지금 주문하면 1년 뒤에나 받을 수 있다."

  • 주문 고객이나 수량에 따라 딜리버리 기간은 다소 차이가 있는거 같습니다. 대량으로 주문시에는 3개월내에도 딜리버리가 된 사례를 보았습니다. ^^

2. 왜 엔비디아의 GPU/H100인가?

• 병렬처리 방식의 GPU는 대량의 데이터를 빠르게 학습하고 연산할 수 있기에

• CPU 코어에 비해 ALU가 많고, 수많은 ALU가 동일한 명령어로 대량의 데이터를 처리

• 엔비디아의 GPU는 명령어를 여러 스레드에서 대량의 데이터를 처리하는 방식인 ‘SIMT(Single Instruction, Multiple Thred)’ 사용

• SM이 144개를 가지고 있는 H100의 FP16 연산 FLOPs는 무려 3,958teraFLOPs

• 대규모 데이터 학습·추론에 특화된 반도체 패키지

2. 품절 대란/ 공급부족 현상 이유는?

• AI 가속기 생산 관련 글로벌 분업구조 문제

  • CPU칩 설계 = 엔비디어

  • GPU칩 생산(반도체 수탁생산) = TSMC

  • 인터포저 공정 = TSMC -- 병목

  • HBM3(4세대 HBM) 생산 = SK하이닉스 -- 병목

** HBM: AI 가속기의 핵심 부품. D램을 수직으로 쌓아 만든 고성능 제품으로 데이터를 저장하고 GPU에 보내고 받는 역할

• 병목 구간

  • SK하이닉스에서 HBM생산을 고객사 주문을 100% 소화하지 못하고 있는 상태

  • 인터포저 공정을 위한 TSMC의 2.5D 패키징은 'CoWoS(Chip on Wafer on Substrate)'라고 부르는데, 생산 능력(캐파)가 수요 대비 부족한 상황

3. 해결 방법 또는 대안은?

• 엔비디아가 다른 HBM 공급사와 2.5D패키징이 가능한 기업을 찾는 것 -> 삼성전자(?)

• AI 가속기 수요기업들이 엔비디아의 대체 기업의 AI 칩을 사용하는 것 -> AMD와 인텔(가우디)

• GPU가 아닌 CPU

4. 추가 검토 사항

• 엔비디아의 SW '쿠다(CUDA)' 생태계에 익숙한 기업 개발자들

*** 참고] AI 전성시대, CPU 아닌 GPU가 주목받는 이유(https://yozm.wishket.com/magazine/detail/2294/)

>> 보다 쉽게 이해하실려면 원문들 참고해주세요~^