엔비디어 H100 - 5000만원짜린데 품절 대란?

제가 아는 업체도 주문한지 6개월이 지났는데, 아직도 공급을 못받고 있는 엔비디아 H100.

예전 메인프레임이후로 이런 H/W 부품에 줄서기(?) 보는것도 오랜만인거 같습니다.-.-


  1. 상황

  • "지금 주문하면 1년 뒤에나 받을 수 있다."

    • 주문 고객이나 수량에 따라 딜리버리 기간은 다소 차이가 있는거 같습니다. 대량으로 주문시에는 3개월내에도 딜리버리가 된 사례를 보았습니다. ^^


  1. 왜 엔비디아의 GPU/H100인가?

  • 병렬처리 방식의 GPU는 대량의 데이터를 빠르게 학습하고 연산할 수 있기에

  • CPU 코어에 비해 ALU가 많고, 수많은 ALU가 동일한 명령어로 대량의 데이터를 처리

  • 엔비디아의 GPU는 명령어를 여러 스레드에서 대량의 데이터를 처리하는 방식인 ‘SIMT(Single Instruction, Multiple Thred)’ 사용

  • SM이 144개를 가지고 있는 H100의 FP16 연산 FLOPs는 무려 3,958teraFLOPs

  • 대규모 데이터 학습·추론에 특화된 반도체 패키지


  1. 품절 대란/ 공급부족 현상 이유는?

  • AI 가속기 생산 관련 글로벌 분업구조 문제

    • CPU칩 설계 = 엔비디어

    • GPU칩 생산(반도체 수탁생산) = TSMC

    • 인터포저 공정 = TSMC -- 병목

    • HBM3(4세대 HBM) 생산 = SK하이닉스 -- 병목

** HBM: AI 가속기의 핵심 부품. D램을 수직으로 쌓아 만든 고성능 제품으로 데이터를 저장하고 GPU에 보내고 받는 역할

  • 병목 구간

    • SK하이닉스에서 HBM생산을 고객사 주문을 100% 소화하지 못하고 있는 상태

    • 인터포저 공정을 위한 TSMC의 2.5D 패키징은 'CoWoS(Chip on Wafer on Substrate)'라고 부르는데, 생산 능력(캐파)가 수요 대비 부족한 상황


  1. 해결 방법 또는 대안은?

  • 엔비디아가 다른 HBM 공급사와 2.5D패키징이 가능한 기업을 찾는 것 -> 삼성전자(?)

  • AI 가속기 수요기업들이 엔비디아의 대체 기업의 AI 칩을 사용하는 것 -> AMD와 인텔(가우디)

  • GPU가 아닌 CPU


  1. 추가 검토 사항

  • 엔비디아의 SW '쿠다(CUDA)' 생태계에 익숙한 기업 개발자들


*** 참고] AI 전성시대, CPU 아닌 GPU가 주목받는 이유(https://yozm.wishket.com/magazine/detail/2294/)


>> 보다 쉽게 이해하실려면 원문들 참고해주세요~^

5000만원짜린데 품절 대란..."무슨 짓을 해서라도 구하고 싶다" [황정수의 반도체 이슈 짚어보기] : 네이트 뉴스

모바일 네이트 뉴스

5000만원짜린데 품절 대란..."무슨 짓을 해서라도 구하고 싶다" [황정수의 반도체 이슈 짚어보기] : 네이트 뉴스

다음 내용이 궁금하다면?

또는

이미 회원이신가요?

2023년 11월 13일 오전 9:40

조회 1,643

댓글 0