최근의 머신러닝 트렌드는 누가 뭐래도 Gen AI 인것 같습니다. 그리고 LLM이 여기서 핵심인데 LLM을 그냥 API 호출해서 쓰는게 아니라 직접 다루게 된다면 학습하는 것도 그렇지만 서비스화 할 때도 어려운점이 많습니다.

가장 문제가 되는 것은 GPU 리소스 부족입니다. 요즘 오픈소스 라이브러리들이 워낙에 잘 되어 있어서 training이나 inference 할 때 효율적으로 하는게 쉬워지기는 했지만, 그래도 이쪽 분야가 워낙 빠르게 변하고 있어서 해당 내용을 자세히 알고 쓰지는 못하는 경우가 많습니다. 그리고 LLM 자체가 사이즈가 워낙 크다 보니 이걸 어떻게 효율적으로 서빙할지는 비즈니스 측면에서도 어마어마한 비용이 걸린 일이라 매우 중요한 내용이죠.

Efficient fine-tuning 이나 quantization 등도 방법이 너무 많고 최신 연구결과들은 계속 발표되고 하는데, 이와 관련된 efficient deep learning 코스가 좋은게 있어서 공유합니다.

• https://hanlab.mit.edu/courses/2023-fall-65940

MIT의 HAN Lab이라는 곳에서 진행하는 강의를 공개해 놓은 것인데, 퀄리티가 정말 좋고 꽤 최신 내용들을 많이 담고 있습니다. 예전같으면 엄청나게 비싼 돈을 내고 들어야 할 만한 내용인데.. 세계 최고의 전문가가 하는 강의를 방구석에서 쉽게 볼 수 있다니 정말 좋아진 것 같습니다ㅎㅎ