[0711]모두에게 전하는 모두연 AI뉴스!

  • PaliGemma: 다양한 작업에 적용 가능한 고성능 비전 언어 모델의 개발 및 평가

PaliGemma는 SigLIP-So400m 비전 인코더와 Gemma-2B 언어 모델을 결합한 개방형 비전 언어 모델(VLM)입니다. 이 모델은 다양하고 광범위한 지식을 갖춘 다재다능한 기본 모델로 훈련되어, 전송이 용이하며 여러 개방형 작업에서 강력한 성능을 발휘합니다. PaliGemma는 표준 VLM 벤치마크를 포함한 거의 40가지 다양한 작업에서 평가되었으며, 원격 감지 및 분할과 같은 보다 전문화된 작업에서도 그 효과를 입증하였습니다.


https://huggingface.co/papers/2407.07726


  • CPU 기반 최적화를 통한 대규모 언어 모델의 효율적 배포 및 추론 성능 향상 방법

대규모 언어 모델(LLM)은 다양한 작업에서 뛰어난 성능을 보여주지만, 리소스 제약이 큰 환경에서는 그 배포가 어렵습니다. 본 논문에서는 GPU 대신 CPU를 사용하여 재정적 부담과 하드웨어 리소스 제약을 완화하면서 LLM의 추론 성능을 최적화하는 방법을 제시합니다. 특히, KV 캐시 크기를 줄이면서 정밀도를 유지할 수 있는 효과적인 기법을 구현하고, 분산 추론 최적화를 위해 API 집합 통신 라이브러리를 기반으로 한 접근 방식을 도입합니다. 또한, CPU에서 가장 일반적으로 사용되는 LLM에 대한 맞춤형 최적화를 수행하여 이를 실용적으로 배포할 수 있도록 합니다.


https://huggingface.co/papers/2407.07304


AI 개발자 과정의 압도적인 수준 차이! 입문자에서 전공자까지! 아이펠 9기 모집중 : https://bit.ly/4ePP8iK

Paper page - PaliGemma: A versatile 3B VLM for transfer

huggingface.co

Paper page - PaliGemma: A versatile 3B VLM for transfer

다음 내용이 궁금하다면?

또는

이미 회원이신가요?

2024년 7월 11일 오전 6:00

댓글 0