이전에 공유한 것처럼 저는 Google for Developers Machine Learning Bootcamp에 참여하고 있습니다.

최근에는 Goole의 sLLM인 Gemma2를 fine-tuning하는 Gemma Sprint가 시작됐습니다. 마지막 프로젝트네요.

Gemma Sprint 기간 동안, Hugging Face도 둘러보기도 하고, 궁금하지만 실천은 못했던 LLM fine-tuning도 해보기도 하고, 즐거운 시간을 보냈습니다.

특히 fine-tuning은 tuning 시간이 길 뿐 코드는 매우 간단해서, 궁금하신 분들은 가볍게 실험해 보는 것도 좋을 것 같습니다.

저는 NL2SQL(자연어 to SQL) 기능을 위해 Gemma2 2B 모델을 fine-tuning 해보았는데, 정말 단순하게 했음에도 준수한 성능이 나오는 것 같습니다.

사실, OpenAI o1에게 물으면 더 자세한 설명과 함께 SQL을 잘 만들어 줍니다만,

Gemma2 2B 모델은 CPU에서도 10~20초 정도면 결과를 얻을 수 있어서, 환경에 따라 sLLM을 fine-tuning 하는 것도 효율적인 방법일 것 같습니다.

신선한 경험이었던 ML bootcamp가 막을 내리고 있네요.

덕분에 좋은 경험을 할 수 있었습니다.

#GemmaSprint