오늘은 Llama-2에 대한 얘기들이 엄청나군요. Llama-2-70B-chat 모델을 써볼 수 있는 데모를 공유드리겠습니다. https://huggingface.co/blog/llama2 를 참고

오늘은 Llama-2에 대한 얘기들이 엄청나군요. Llama-2-70B-chat 모델을 써볼 수 있는 데모를 공유드리겠습니다. https://huggingface.co/blog/llama2 를 참고하면 간단히 inference도 따로 해볼 수 있습니다. 데모: https://huggingface.co/spaces/ysharma/Explore_llamav2_with_TGI 전체 학습데이터 2 Trillion 토큰 중 일본어는 2 Billion (전체 0.1%), 한국어는 1.2 Billion (전체 0.06%) 토큰정도밖에 안되어서 그런지, 한국어로 물어보면 영어로 답변을 자꾸 하네요. 그래도 한국어 이해는 잘하는듯해보입니다. Llama-1을 SFT 해보신 분들은 아시겠지만 backbone 모델에 한국어 지식이 없는 상태에서 아무리 한국어 데이터로 SFT 튜닝해봤자 한국어 backbone 대비 한계가 있을것으로 예상되긴 합니다만.. RLHF 까지 비법을 어느정도 공유해준건 도움이 많이 되겠네요. Fine-tuning 및 Inference (Text Generation Inference, vLLM 까지) 도 메타에서 직접 공유해줬구요. https://github.com/facebookresearch/llama-recipes 멀티모달 쪽도 발빠르게 움직여서 Llama-2-13B-chat 모델 기반으로 LLAVA 를 써볼 수도 있습니다. 데모: https://llava.hliu.cc/ 이제 Google Bard와 Microsoft Bing-Chat에도 멀티모달 지원 되는데요, Bard vs Bing-Chat vs LLAVA 벤치마킹 성능 비교는 아래에서 확인 가능합니다. https://github.com/haotian-liu/LLaVA/blob/main/docs/LLaVA_Bench.md