Llama 2 추론 모듈을 새로운 언어인 Mojo로 만들었더니 250배

지난 주인 9월 7일에 Modular에서 Python 의 대안인 Mojo 를 출시 했습니다. Mojo는 AI 개발자를 위한 새로운 프로그래밍 언어로, Python 코드와의 원활한 통합을 지원하며, AI에 널리 사용되는 가속기(예: GPU)를 비롯한 성능에 중요한 시스템을 대상으로 하는 확장 가능한 프로그래밍 모델을 갖추고 있습니다. Mojo 세부 내용은 아래 링크를 확인해주세요. - Modular: Mojo🔥 - It’s finally here! https://www.modular.com/blog/mojo-its-finally-here - Python의 대안 🔥Mojo 언어를 소개합니다. https://revf.tistory.com/285 맥에서 4비트 양자화를 사용하여 로컬에서 Llama 2 모델을 실행할 수 있게 해주는 Python 포트인 llama.py를 Mojo로 전환한 오픈소스 llama2.mojo 가 공개되었습니다. Mojo 로 전환한 결과, Python 성능이 거의 250배 향상되었다고 하네요. 또한 run fast 모드에서도 llama2.c 보다 15~20% 더 뛰어난 성능이라고 합니다. Mojo 가 출시되자마자 놀라운 모습을 바로 보여주는군요. Python과 Mojo 행보가 더욱 기대가 됩니다!

Modular: Mojo🔥 - It's finally here!

Modular

Modular: Mojo🔥 - It's finally here!

다음 내용이 궁금하다면?

또는

이미 회원이신가요?

2023년 9월 14일 오전 12:22

댓글 0

    함께 읽은 게시물

    발이 닿지 않는 바다에서

    ... 더 보기

    발이 닿지 않는 바다에서

    hajoeun.com

    발이 닿지 않는 바다에서

    소프트웨어 개발 방법론의 역사

    조회 642


    앱 개발 개척시대

    A

    ... 더 보기

    앱 개발 개척시대

    K리그 프로그래머

    앱 개발 개척시대

     • 

    저장 5 • 조회 1,357


    개발자 교양 팟캐스트

    A

    ... 더 보기


    Longest Common Subsequence 자바스크립트 풀이

    ... 더 보기

    Longest Common Subsequence | 알고달레

    알고달레

    Longest Common Subsequence | 알고달레