커리어리 친구들, 지금까지 나온 거대 언어 모델(LLM)의 진화 과정을 요약한 깃허브를 찾아서 읽어 보고 정리해 보았습니다.
🌸 2021년 이후 GPT-3가 선보이면서, 디코더 전용 모델이 주도하고 있습니다. LLM 개발 초기에는 BERT 모델 이후, 인코더 전용 및 인코더-디코더 모델이 폭발적으로 성장했으나 처리가 매우 작아 책의 예제 정도만 사용하고 있습니다.
🌸 오픈AI는 현재 거대 언어 모델 분야의 주도적 위치를 차지하고 있습니다. 더욱이 메타는 오픈 소스 모델 개발 및 연구에 큰 영향을 끼치고 있습니다. 이제는 누구나 개발자라면 셀프 호스팅해서 나만의 챗GPT를 서비스할 수 있는 시대를 열었습니다.
🌸 거대 언어 모델 개발 초기에는 대부분 오픈 소스 모델이었으나, GPT-3 이후에는 주로 상용 모델을 출시하는 경향을 보이고 있습니다. Ex) 구글 바드, 오픈AI의 챗GPT, Anthropic
🌸 구글은 오픈 소스 인코더-디코더 모델에 상당한 기여를 했으며 계속해서 관련 모델이 나오고 있습니다. 그러나, 디코더 모델이 점점 많아지고 범용적으로 쓰이면서 앞으로 인코더-디코더 모델보다 LSTM 이나 그 보다 더 많은 파라미터를 퓨어샷 러닝이나 셀프 러닝 등이 훨씬 더 많이 사용할 것 입니다.
그외 궁금한 사항은 아래의 깃허브를 읽어 보시기 바랍니다.