Pytorch 2.0 정식 공개

GPT-4가 새로 공개되고, 구글 또한 여러가지 LLM 관련된 내용을 발표하면서 시끌시끌 한데요, 그 와중에 그동안 RC 버전까지만 존재하던 Pytorch 2.0이 정식으로 릴리즈 되었습니다. Pytorch 2버전에서 추가된 가장 강력한 기능 중 하나는 torch.compile() 을 통해 쉽게 모델을 컴파일 할 수 있다는 부분입니다. (아직은 beta 기능이긴 하지만) 여기 내용 (https://pytorch.org/get-started/pytorch-2.0/) 을 살펴보면 성능 향상이 꽤 있는 것으로 보입니다. 그리고 최근 가장 큰 트렌드인 LLM의 핵심인 transformer를 custom kernel 을 개선하여 성능을 높였다고 합니다. 그래서 Diffusers 라이브러리 사용할 때도 성능이 더 높아졌다고 합니다. (https://deploy-preview-1315--pytorch-dot-org-preview.netlify.app/blog/accelerated-diffusers-pt-20/) 그 외에도 낮은 버전의 cuda나 python은 deprecated 하여 dependency들의 최소 버전 등이 높아졌고 AWS의 graviton3 support 가 개선된 점 등도 눈에 뛰네요. 최근에 mobile/edge 등에 사용되는 것을 제외하고는 학계/산업계 모두에서 Pytorch가 Tensorflow보다 조금씩 점유율이 높아지고 있는 추세이던데, 앞으로도 Pytorch가 좀 더 많은 인기를 끌 것 같아 보입니다..!

PyTorch

PyTorch

PyTorch

다음 내용이 궁금하다면?

또는

이미 회원이신가요?

2023년 3월 16일 오전 8:52

댓글 0