Podman Desktop으로 로컬에서 LLM 실험하기

Podman Desktop은 로컬 환경에서 컨테이너나 쿠버네티스를 원활하게 사용할 수 있게 해주는 오픈 소스 그래픽 도구인데요, Podman Desktop을 이용해서 LLM 실험도 가능하다고 합니다. 관련 기사 공유합니다.😃(출처: InfoQ) * Podman Desktop은 1.0 출시 1년 후 Podman AI Lab 플러그인을 발표하여 개발자가 자신의 컴퓨터에서 LLM(대형 언어 모델) 작업을 시작할 수 있도록 지원하겠다고 약속했습니다. * Podman AI Lab은 생성형 AI 탐색, 빌트인 레시피 카탈로그, 엄선된(curated) 모델, 로컬 모델 제공, OpenAI 호환 API, 코드 스니펫(snippets) 및 플레이그라운드(playground) 환경을 갖춘 LLM 워크플로우를 간소화합니다. * 플러그인은 애플리케이션 개발자를 위해 AI 세대를 "민주화(to democratize)"하고 "내 컴퓨터에서 작동"하는 것과 하이브리드 클라우드의 운영환경에서 실행되는 것 사이의 격차를 줄이는 것을 목표로 합니다. 현재 지원되는 에코시스템은 쿠버네티스 및 Red Hat 오픈시프트입니다. * 개발자는 익스텐션 카탈로그를 통해 설치할 수 있습니다. Podman Desktop 1.10 이상에서 사용할 수 있습니다. * 개발자가 Gen AI 기반 애플리케이션을 구축, 테스트 및 실행할 수 있도록 플러그인은 첫 번째 생성형 AI인 "Hello World"를 제공하는 아래와 같은 "구성 요소"를 제공할 예정입니다. * 교육용 애플리케이션(레시피 카탈로그): "레시피"라는 이름으로 애플리케이션은 개발자가 애플리케이션에서 생성형 AI를 사용하는 모범 사례를 발견하고 배울 수 있는 샘플 애플리케이션을 제공합니다. 레시피 카탈로그는 PR을 제출하여 기여할 수 있는 퍼블릭 저장소입니다. * 엄선된 모델 카탈로그: 즉시 사용 가능한 오픈 소스 모델 목록입니다. 플러그인은 사용 가능한 모델이 법적 요구 사항(일반적으로 Apache 2.0 또는 MIT 오픈 소스 라이센스)을 준수하는지 확인했음을 약속합니다. GGUF(GPT 생성 통합 형식) 형식으로 모델 파일을 가져올 수도 있습니다. * 로컬 모델 제공: 애플리케이션은 개발자 애플리케이션에 즉시 통합하기 위한 코드 스니펫을 생성할 수 있는데요. "온라인" 모델과 "로컬" 모델 간의 전환을 더 쉽게 하기 위해 애플리케이션은 "Open-AI 호환" API를 제공합니다. 플러그인은 모델(llama.cpp 기반)과 상호 작용하는 데 필요한 추론 서버를 생성하고 모델을 로컬에서 실행하기 위한 리소스가 충분하지 않을 때 사용자에게 힌트를 제공합니다. 애플리케이션이 어떻게 작동하는지 확인하려면 Pod 보기에서 다른 Pod처럼 확인할 수 있습니다. 각 컨테이너의 세부 정보와 터미널 출력을 볼 수 있습니다. 필요한 경우 SSH를 통해 직접 연결할 수 있습니다. * 플레이그라운드 환경: 모델을 테스트하거나 미세 조정하는 데 사용됩니다. 애플리케이션을 로컬에서 실행할 때마다 Podman은 컨테이너에 사용되는 모델에 대한 추론 서버를 실행합니다. 또한 이미 실행 중인 모든 애플리케이션(레시피)을 표시합니다. 새로운 놀이터 환경을 시작할 때 프롬프트가 표시되어 최상의 모델과 설정을 찾는 데 도움이 됩니다. 플레이그라운드에서는 온도(창의성과 예측 가능성에 영향을 미치는 모델 출력의 무작위성 제어), 최대 토큰(모델 응답의 최대 길이를 토큰(단어)으로 설정) 및 top-p를 선택할 수 있습니다. 플러그인은 각 쿼리의 일반적인 컨텍스트(지침 및 지침)를 정의할 수 있습니다. 원본 기사 링크는 아래와 같습니다. 감사합니다.🙏 [Source Link] https://www.infoq.com/news/2024/05/podman-local-llms/