📝 Llama 3 한국어 테스트 on 맥북 에어 M2

Llama 3의 한국어 테스트를 맥북 에어 M2, 24G에서 간단하게 해 보았습니다. 결론만 간단하게 말하면 약간의 한국어 데이터로 살짝만 튜닝하면 꽤 쓸만 할 것 같습니다. 첨부 영상은 8B-4bit Instruct 모델로 결과가 잘 나온 편인데, 리드 텍스트가 약간만 무너져도 생성 결과가 전체적으로 크게 무너질 정도로 성능 변화가 커서 안정성이 많이 떨어지는 것으로 보입니다. 하지만 아주 제너럴하게 사용하는 것이 아니라면 인스트럭션 튜닝으로 쉽게 해소 가능할 것으로 생각되고요. 그리고 8B는 16bit까지 돌아는가는데, 제 기준으로 속도면에서 4bit은 돼야 쓸만합니다. 8bit도 나쁘진 않고요. 성능은 아주 큰 차이는 없지만 확실히 높은 bit에서 생성 결과가 약간 더 안정적인 느낌입니다. 70B는..안돌아갑니다. 🥹 (적선좀.. 🥹) 그리고 llama.cpp는 잘 되는데, mlx-lm은 뭔가 좀 결과가 요상하게 나오더군요. 제가 뭘 잘못한 것 같긴한데.. 🤔 암튼 첫인상은, 약간 애매하지만 합격 👍 https://x.com/golbin/status/1781374690118004870?s=46