X
X (formerly Twitter)
Llama 3의 한국어 테스트를 맥북 에어 M2, 24G에서 간단하게 해 보았습니다.
결론만 간단하게 말하면 약간의 한국어 데이터로 살짝만 튜닝하면 꽤 쓸만 할 것 같습니다.
첨부 영상은 8B-4bit Instruct 모델로 결과가 잘 나온 편인데, 리드 텍스트가 약간만 무너져도 생성 결과가 전체적으로 크게 무너질 정도로 성능 변화가 커서 안정성이 많이 떨어지는 것으로 보입니다.
하지만 아주 제너럴하게 사용하는 것이 아니라면 인스트럭션 튜닝으로 쉽게 해소 가능할 것으로 생각되고요.
그리고 8B는 16bit까지 돌아는가는데, 제 기준으로 속도면에서 4bit은 돼야 쓸만합니다. 8bit도 나쁘진 않고요. 성능은 아주 큰 차이는 없지만 확실히 높은 bit에서 생성 결과가 약간 더 안정적인 느낌입니다.
70B는..안돌아갑니다. 🥹 (적선좀.. 🥹)
그리고 llama.cpp는 잘 되는데, mlx-lm은 뭔가 좀 결과가 요상하게 나오더군요. 제가 뭘 잘못한 것 같긴한데.. 🤔
암튼 첫인상은, 약간 애매하지만 합격 👍
https://x.com/golbin/status/1781374690118004870?s=46
다음 내용이 궁금하다면?
이미 회원이신가요?
2024년 4월 19일 오후 5:34
어떤 서비스가 버그를 가진채로 출시되었고, 사용자들이 그 버그를 전제로 기능을 사용하고 있다면, 그리고 그 위로 너무 많은 새로운 기능들이 쌓여있다면 그건 버그가 아니라 스펙(기능)이라는, 언젠가부터 들었던 업계의 유명한 블랙 유머다.
... 더 보기퇴근길 지하철에서 중년 사내와 20대 후반의 한 젊은이가 필자의 앞에 나란히 앉아 있었다. “자리가 사람을 만드는 법이지.” 중년 사내가 젊은이에게 건네는 말 한마디가 내 귀에 들려왔다. 그 순간 나는 묘한 추억에 빠져들었다.
... 더 보기‘혁신 실험형’ 프로젝트는 조직 내에서 존재감 있는 부서의 리더가 승진을 목적으로 경영층에 어필하는 프로젝트이다. 혁신실험형이라는 말이 의미하듯이 유행하는 첨단기술을 파일럿으로 수행하기 때문에 조직에 미치는 영향력은 크지 않지만, 조직 내부에 혁신의 메시지를 던져 본인의 역량을 어필하기에 적합한 프로젝트이다.
... 더 보기