Nvidia unveils H200, its newest high-end chip for training AI models
CNBC
Nvidia, AI 모델 training 용 고성능 칩 H200 공개
https://www.cnbc.com/2023/11/13/nvidia-unveils-h200-its-newest-high-end-chip-for-training-ai-models.html
Nvidia가 공개한 최신 H200 GPU는 다양한 AI 모델들을 신속하게 training/deploy 하도록 디자인
GPT-4 training에 사용되고 있는 H100 칩 후속인 H200은 141GB의 차세대 HBM3 메모리로 추론과 문자/이미지 생성, 예측을 지원
MEta의 Llama2로 테스트 결과 H100 칩보다 2배 가량 빠르게 결과물 생성이 가능하며, 기존 H100 칩과도 호환성 갖춤
H200칩은 내년 2분기 Nvidia HGX 시스템을 통해 제공 예정으로, GH200 (Grace Hopper) CPU와도 병행 사용 가능
더 많은 콘텐츠를 보고 싶다면?
이미 회원이신가요?
2023년 11월 13일 오후 9:44
댓글 0
함께 읽은 게시물
GPT-5가 출시되면서 Function Calling에 Free-Form Function Calling과 Context-Free Grammar (CFG)를 지원하는데, 이게 숨은 보석이다.
Free-Form은 결과를 JSON이 아니라 SQL, Python script 등의 코드등을 결과로 받거나 XML, CSV 같은 형태로도 받을 수 있다. 다만 plain-text로 주는 형태라서 주의가 필요하다. 이건 예전에도 프롬프트 트릭으로 쓰곤했던거라 그냥 맘이 좀 편해졌다(?)정도.
... 더 보기
