AI Lab Extension Allows Podman Desktop Users to Experiment with LLMs Locally
InfoQ
Podman Desktop으로 로컬에서 LLM 실험하기
Podman Desktop은 로컬 환경에서 컨테이너나 쿠버네티스를 원활하게 사용할 수 있게 해주는 오픈 소스 그래픽 도구인데요, Podman Desktop을 이용해서 LLM 실험도 가능하다고 합니다. 관련 기사 공유합니다.😃(출처: InfoQ)
<AI Lab Extension을 통해 Podman Desktop 사용자는 로컬에서 LLM을 실험할 수 있습니다.>
Podman Desktop은 1.0 출시 1년 후 Podman AI Lab 플러그인을 발표하여 개발자가 자신의 컴퓨터에서 LLM(대형 언어 모델) 작업을 시작할 수 있도록 지원하겠다고 약속했습니다.
Podman AI Lab은 생성형 AI 탐색, 빌트인 레시피 카탈로그, 엄선된(curated) 모델, 로컬 모델 제공, OpenAI 호환 API, 코드 스니펫(snippets) 및 플레이그라운드(playground) 환경을 갖춘 LLM 워크플로우를 간소화합니다.
플러그인은 애플리케이션 개발자를 위해 AI 세대를 "민주화(to democratize)"하고 "내 컴퓨터에서 작동"하는 것과 하이브리드 클라우드의 운영환경에서 실행되는 것 사이의 격차를 줄이는 것을 목표로 합니다. 현재 지원되는 에코시스템은 쿠버네티스 및 Red Hat 오픈시프트입니다.
개발자는 익스텐션 카탈로그를 통해 설치할 수 있습니다. Podman Desktop 1.10 이상에서 사용할 수 있습니다.
개발자가 Gen AI 기반 애플리케이션을 구축, 테스트 및 실행할 수 있도록 플러그인은 첫 번째 생성형 AI인 "Hello World"를 제공하는 아래와 같은 "구성 요소"를 제공할 예정입니다.
교육용 애플리케이션(레시피 카탈로그): "레시피"라는 이름으로 애플리케이션은 개발자가 애플리케이션에서 생성형 AI를 사용하는 모범 사례를 발견하고 배울 수 있는 샘플 애플리케이션을 제공합니다. 레시피 카탈로그는 PR을 제출하여 기여할 수 있는 퍼블릭 저장소입니다.
엄선된 모델 카탈로그: 즉시 사용 가능한 오픈 소스 모델 목록입니다. 플러그인은 사용 가능한 모델이 법적 요구 사항(일반적으로 Apache 2.0 또는 MIT 오픈 소스 라이센스)을 준수하는지 확인했음을 약속합니다. GGUF(GPT 생성 통합 형식) 형식으로 모델 파일을 가져올 수도 있습니다.
로컬 모델 제공: 애플리케이션은 개발자 애플리케이션에 즉시 통합하기 위한 코드 스니펫을 생성할 수 있는데요. "온라인" 모델과 "로컬" 모델 간의 전환을 더 쉽게 하기 위해 애플리케이션은 "Open-AI 호환" API를 제공합니다. 플러그인은 모델(llama.cpp 기반)과 상호 작용하는 데 필요한 추론 서버를 생성하고 모델을 로컬에서 실행하기 위한 리소스가 충분하지 않을 때 사용자에게 힌트를 제공합니다. 애플리케이션이 어떻게 작동하는지 확인하려면 Pod 보기에서 다른 Pod처럼 확인할 수 있습니다. 각 컨테이너의 세부 정보와 터미널 출력을 볼 수 있습니다. 필요한 경우 SSH를 통해 직접 연결할 수 있습니다.
플레이그라운드 환경: 모델을 테스트하거나 미세 조정하는 데 사용됩니다. 애플리케이션을 로컬에서 실행할 때마다 Podman은 컨테이너에 사용되는 모델에 대한 추론 서버를 실행합니다. 또한 이미 실행 중인 모든 애플리케이션(레시피)을 표시합니다. 새로운 놀이터 환경을 시작할 때 프롬프트가 표시되어 최상의 모델과 설정을 찾는 데 도움이 됩니다. 플레이그라운드에서는 온도(창의성과 예측 가능성에 영향을 미치는 모델 출력의 무작위성 제어), 최대 토큰(모델 응답의 최대 길이를 토큰(단어)으로 설정) 및 top-p를 선택할 수 있습니다. 플러그인은 각 쿼리의 일반적인 컨텍스트(지침 및 지침)를 정의할 수 있습니다.
원본 기사 링크는 아래와 같습니다. 감사합니다.🙏
[Source Link] https://www.infoq.com/news/2024/05/podman-local-llms/
다음 내용이 궁금하다면?
이미 회원이신가요?
2024년 5월 31일 오전 11:31
댓글 0
함께 읽은 게시물
넷플릭스는 왜 WebFlux를 사용하지 않을까?
십
... 더 보기
초중고딩 어렸을 적 과학시간에 석유와 석탄이 만들어지는 원리와 과정을 배울 때마다 이해가 되지 않아서 그냥 외웠었다. 석유는 공룡을 비롯 동물이 죽어서 만들어지고 석탄은 식물이 죽어서 만들어진다고 배웠는데, 석탄이야 식물이 워낙 많았고 죽으면 자연스럽게 땅에 묻히니 그럴 수도 있겠다 이해가 되었지만, 석유는 아무리 생각해도 말이 안되었다. 동물이 화석이 될 확율이 극도로 낮다는 점을 생각하면 동물이 한꺼번에 같은 장소에서 갑자기 많이 죽어서 결국 석유까지 될 확율은 매장되어 있는 석유량을 볼 때 더 말이 안된다고 생각했기 때문이다. 그래서 배울 때마다 당시 과학선생님들께 이해가 안된다고 질문을 드렸으나 속시원한 답을 들어본 적은 없었다. 그렇게 10대에 그 궁금증을 묻고 지금까지 잊고 살았다. 그러다 우연히 생각나서 찾아보니...
비행기가 나는 과학적 원리와 마찬가지로 과학자들조차 속 시원하게 설명하기 어려운 질문 중 하나라고 한다. 많은 학설 중 다수의 과학자와 전문가들이 동의하는 하나는 바다 미생물 이론인데, 이 이야기는 들으면서 고개가 끄덕여질 정도로 납득이 되더라.
... 더 보기많은 분들이 찾아주시면서 입소문이 났는지 계속 개설 요청이 이어지네요. 지난 3기가 7월 20일경에 끝났는데 개설 요청으로 인해 8월말에 4기를 진행하는 것으로 결정했습니다. 재무재표를 통해 산업과 시장을 읽고, 기업과 사업모델을 파악하고, 나아가 나의 사업
... 더 보기
