생성형 AI 신규 트렌트 시작하기

생성형 AI 기반 LLM 모델을 이용해서 챗봇 서비스를 쉽게 개발할 수 있는 방법을 가이드하는 좋은 기사 공유합니다.😃 (출처: The New Stack)

<Podman AI Lab을 갖춘 AI-in-a-Box>

• 리눅스(Linux) 유저들은 Red Hat의 Podman Desktop "AI Lab"을 통해 AI 실험(Experiment)을 쉽게 시작할 수 있습니다.

• 대부분의 AI는 Google, Open AI, Microsoft와 같은 회사를 통해 경험하지만 언제든지 로컬에서 LLM(Large Language Model)을 실행하도록 선택할 수 있습니다. 이러한 "AI in a box" 도구는 AI 사용 속도를 높이거나 직원이 LLM을 사용할 수 있도록 하는 좋은 방법입니다.

• 이를 수행하는 방법 중 하나는 Podman과 Podman AI Lab을 사용하는 것입니다. 이 옵션은 배포가 매우 쉬울 뿐만 아니라 사용하려는 LLM을 선택할 수 있는 옵션을 제공하며 매우 잘 작동합니다.

• AlmaLinux 가상 머신에 Podman AI Lab을 배포했고 Podman AI Lab은 최소한의 리소스로도 훨씬 더 잘 작동했습니다. (4GB의 사용 가능한 메모리, vCPU 코어 4개)

1️⃣ Podman 데스크탑 설치

• 다음과 같은 명령어를 통해 Podman Desktop을 설치합니다.

sudo flatpak install flathub io.podman_desktop.PodmanDesktop

2️⃣ Podman AI Lab 설치

• Podman AI Lab 목록이 나타나면 관련 다운로드 버튼(아래쪽 화살표)을 클릭하여 확장 프로그램을 설치합니다.

3️⃣ LLM 다운로드

• 사이드바에서 Podman AI Lab 아이콘을 클릭한 다음 카탈로그를 클릭하면, 사용 가능한 LLM 목록을 볼 수 있습니다. 하나를 선택한 다음 관련 다운로드 버튼을 클릭합니다. 선택한 LLM에 따라 다운로드하는 데 다소 시간이 걸릴 수 있습니다.

4️⃣ 서비스 생성

• 이제 LLM을 다운로드했으므로 서비스 버튼을 클릭합니다. 결과 창에서 New Model Service를 클릭한 다음 Create Service를 클릭합니다.

• 다운로드한 LLM이 두 개 이상인 경우 LLM 드롭다운을 클릭하여 이 서비스와 연결할 LLM을 선택할 수 있습니다.

• 특별한 이유가 없는 한 서비스의 기본 포트를 사용하는 것이 좋으며, 서비스를 배포하는 데 많은 시간이 걸리지 않아야 합니다. 완료되면 이제 LLM과 상호 작용을 시작할 수 있는 플레이그라운드(Playground)를 시작할 수 있습니다.

5️⃣ 플레이그라운드 만들기

• 플레이그라운드를 클릭합니다. 결과 창에서 플레이그라운드에 특정 이름을 지정하거나 플레이그라운드 이름 필드를 비워두면 Podman이 임의의 이름을 할당합니다. 올바른 모델이 선택되었는지 확인한 다음 Create Playground를 클릭합니다. 거의 즉시 사용할 수 있게 됩니다.

• 플레이그라운드가 준비되면 창 하단에 메시지가 표시됩니다. 이제 테스트가 가능합니다.

  
  

• 답변을 프롬프트에 입력하면, 거의 즉시 AI Lab은 유효한 답변으로 응답했습니다.

원본 기사 링크는 아래와 같습니다. 원본 기사를 통해 보다 상세한 설명과 그림을 확인하실 수 있습니다. 감사합니다.🙏

[Source Link] https://thenewstack.io/ai-in-a-box-with-podman-ai-lab/