갓 출시된 Python 상위 호환 언어인 Mojo를 이용해 만든 llama2 추론 프로그램. 이미 만들어져 있던 Python 으로 만든 llama2 추론 프로그램을 포팅 해 보았다는데요. 기존 프

갓 출시된 Python 상위 호환 언어인 Mojo를 이용해 만든 llama2 추론 프로그램. 이미 만들어져 있던 Python 으로 만든 llama2 추론 프로그램을 포팅 해 보았다는데요. 기존 프로그램보다 무려 250배나 빨라졌다고 합니다. 😳 C로 만든 유명한 추론 프로그램인 llama2.c 보다도 20%가까이 빠르다고 하네요. 물론 기존 Python 스크립트는 최적화가 되어 있지 않은 것으로 보이고, C로 만든 프로그램도 더 빠르게 만들 수 있는 여지가 분명 있지만, 그래도 큰 노력을 들이지 않고도 이정도 성능 향상을 이끌어 낼 수 있다는 것은 확실히 인상적인 결과 것 같습니다. 앞으로 Mojo의 행보가 정말 기대됩니다. https://github.com/tairov/llama2.mojo