NVIDIA H100 vs H800 성능 비교 분석

DeepSeek-V3모델은 H800으로 훈련을 했는데, H800가진 한계들을 넘어서 OpenAI의 상용모델들과 비슷한 성능을 내주었습니다. 그렇다면 얼마만큼의 차이가 있길래, 사람들이 이렇게 반응하는지 궁금해서 H100과 H800의 성능에 대해서 찾아보았습니다.


컴퓨팅 성능
H100 SXM5 80GB 모델은 66.91 TFLOPS의 FP32 성능을 자랑하는 반면, H800 SXM5는 59.3 TFLOPS를 제공합니다. H100이 높긴하지만 10%정도 높은 정도 입니다.


클럭 속도
기본 클럭과 부스트 클럭 모두에서 H100이 우위를 점하고 있습니다.

  • H100: 기본 1590 MHz / 부스트 1980 MHz

  • H800: 기본 1095 MHz / 부스트 1755 MHz


하드웨어 스펙
CUDA 코어 수에서도 차이가 납니다. H100이 16,896개로 H800의 14,592개보다 더 많은 CUDA 코어를 탑재하고 있습니다.


GPU 간 통신 성능
NVLink 대역폭에서도 H100이 우세를 보입니다. H100은 900GB/s의 뛰어난 GPU 간 대역폭을 제공하는 반면, H800은 400GB/s 입니다. 절반이하의 성능을 보여주고 있는데요.

많은 수의 GPU가 동시에 작동해야 하는 대규모 AI학습시에 H100에 비해 효율이 40%정도로 떨어지게 됩니다.


이중 정밀도 성능

H800은 이중 정밀도 컴퓨팅 성능을 크게 감소시켰습니다. 일부 보고에 따르면 H800의 이중 정밀도 성능이 64 TFLOPS에서 1 TFLOPS로 줄어들어 고성능 과학 컴퓨팅(HPC) 분야에서 사실상 사용이 불가능해졌습니다.


전반적인 성능

H100은 FP8 정밀도에서 32 petaFLOPS의 컴퓨팅 성능을 제공하는 반면4, H800은 이보다 낮은 성능을 제공합니다.


찾고보니, GPU의 부족한 부분을 알고리즘으로 뛰어넘은 딥시크 모델을 개발한 AI연구원들에게 존경심이 드네요.


https://www.fibermall.com/ko/blog/nvidia-ai-chip.htm?srsltid=AfmBOoopriraPjnZVDlRPgHQk7JoacBivZJfdLUeoX3oWErd9ivyQmMu

엔비디아 AI 칩: A100 A800 H100 H800 B200

fibermall.com

엔비디아 AI 칩: A100 A800 H100 H800 B200

다음 내용이 궁금하다면?

또는

이미 회원이신가요?

2025년 1월 31일 오전 2:29

댓글 0

    함께 읽은 게시물

    인프라에 관심있는 분께 추천드렸던 책들...

    최근에 인프라에 관심이 있는데 어떤 것들을 공부하면 좋을까? 어떻게 공부하면 좋을까? 질문주신 분이 있어서 이런 저런 이야기를 적다가, 시간이 되시면 이런 책도 읽어보면 좋을 것 같아요. 하고 추천했던 책들을 정리해봤어요. ---- https://www.yes24.com/Product/Goods/44376723 DevOps와 SE를 위한 리눅스 커널 이야기 - 강진우 저 리눅스 서버 운영할 때 어떤 부분들을 신경써야 하는지, 어떤 지표들을 어떻게 모니터링해야 하고, 문제상황에... 더 보기

     • 

    댓글 1 • 저장 115 • 조회 7,741


    영화 '로비'

    

    ... 더 보기

    퇴사 부검 : 네이버를 떠나며

    ... 더 보기

    퇴사 부검 : 네이버를 떠나며

    taetaetae.github.io

    퇴사 부검 : 네이버를 떠나며

     • 

    저장 25 • 조회 3,139


    요구사항 변화에 따른 프로젝트 구조 확장 ⛏

    ... 더 보기

    요구사항 변화에 따른 프로젝트 구조 확장_Bradley 멘토님

    F-Lab : 상위 1% 개발자들의 멘토링

    요구사항 변화에 따른 프로젝트 구조 확장_Bradley 멘토님

     • 

    저장 25 • 조회 2,375


    커서 AI를 슬랙과 연결하면 생기는 일

    ... 더 보기

    "배포했으면 스펙이지"

    어떤 서비스가 버그를 가진채로 출시되었고, 사용자들이 그 버그를 전제로 기능을 사용하고 있다면, 그리고 그 위로 너무 많은 새로운 기능들이 쌓여있다면 그건 버그가 아니라 스펙(기능)이라는, 언젠가부터 들었던 업계의 유명한 블랙 유머다.

    ... 더 보기