소규모 언어 모델(SLM)을 로컬과 오프라인에서 손쉽게 실행하기

대규모 언어 모델(LLM)에 이어 소규모 언어 모델(SLM, Small Language Model)도 대세가 되고 있습니다. 관련 기사 공유합니다.😃 (출처: Medium)

<로컬과 오프라인에서 소규모 언어 모델(SLM) 실행하기>

• LLM 주요 활용 사례

  • 개인적인 업무 활용: ChatGPT, HuggingChat, Cohere Coral 및 NVIDIA Chat 등

  • 애플리케이션 지원(GenApp): LLM orchestration, autonomous agents 등

• LLM을 직접 구현하는 것은 복잡성과 종속성으로 인해 어려우며, 이에 호스팅 서비스를 사용하는 것이 바람직함. 또한 모델 크기도 고려해야 함

• 대화형(Conversational) AI

  • 대화형 AI의 5가지 요소: dialog state & context management, National Language Generation(NLG), National Language Understanding(NLU), Common-Sense Reasoning, Knowledge Intensive NLP(KI-NLP)

• 챗봇(Chatbot) 유즈케이스

  • SLM으로 챗봇을 구현하면 추론 레이턴시, 토큰 사용 비용, 모델 드리프트, 데이터 프라이버시 문제, LLM API 속도 제한 등 기업이 직면한 5가지 주요 장애물을 해결할 수 있습니다.

• Microsoft Phi-2

  • Phi-2와 같은 SML은 덜 민감한 작업을 위한 대규모 언어 모델에 대해 비용 효율적인 대안을 제공합니다.

  • 27억 개의 매개변수를 갖춘 소규모 언어 모델(SML)인 Phi-2는 추가 합성(synthetic) NLP 텍스트 및 필터링된 웹사이트와 함께 Phi-1.5와 유사한 데이터 소스를 사용하여 학습되었습니다.

  • Microsoft는 toxicity 감소, bias 이해, 제어 가능성 향상과 같은 안전 문제를 해결하기 위해 Phi-2를 오픈 소스 모델로 개발했다고 합니다.

  
  

• Notebook에서 실행하기

  • Phi-2는 실험을 위해 로컬로 실행하거나 노트북을 통해 실행할 수 있습니다.

  • Phi-2 SLM은 노트북을 통해 로컬로 실행할 수 있습니다. (실행 예제는 원본기사 참조)

• LM Studio

  • MacBook에 LM Studio를 로컬로 설치하고 실행하는 것은 생각보다 간단합니다. (실행 예제는 원본기사 참조)

• SLM의 장점

  • SLM은 해당 기능이 현재 작업에 부합할 때 맞춤형 솔루션을 제공할 수 있습니다. 특히 수요가 덜 광범위하고 대규모 언어 모델의 방대한 리소스가 필요하지 않은 시나리오에 유용한 것으로 입증되었습니다.

  • SLM은 텍스트 생성, 분류, 감정 분석 등 다양한 작업에 효과적으로 활용될 수 있습니다.

  • SLM의 주목할만한 장점 중 하나는 배포 유연성입니다. 로컬이나 오프라인으로 실행할 수 있어 사용자가 데이터를 더 효과적으로 제어하고 개인정보를 보호할 수 있습니다. 이 로컬 실행 기능을 통해 사용자는 인터넷 연결이 제한되어 있거나 개인 정보 보호 요구 사항이 엄격한 환경에서 SLM을 활용할 수 있으므로 다양한 애플리케이션에 대한 훌륭한 대안이 됩니다.

원본 기사는 아래와 같습니다. 감사합니다.🙏

[Source Link] https://cobusgreyling.medium.com/run-a-small-language-model-slm-local-offline-1f62a6cbdaef