PyTorch 2.1을 통한 최적화 부분 개선

PyTorch가 새 버전을 공개했네요 새 버전에서는 주로 최적화 기능이 많이 개선 된 것 같습니다. (요즘 Meta, facebook research에서 이것저것 많이 공개하는 느낌...) 주요 업데이트 사항 1. TorchInductor-CPU optimizations including Bfloat16 inference path for torch.compile 2. CPU dynamic shape inference path for torch.compile 3. C++ wrapper (prototype) 4. Flash-attention-based scaled dot product algorithm for CPU 5. PyTorch 2 export post-training auantization with an x86 back end through an inductor https://pytorch.org/blog/new-features-for-ai/?utm_content=273573766&utm_medium=social&utm_source=linkedin&hss_channel=lcp-78618366