이번 달(2024년 5월)에 오픈소스 전문 기업 Red Hat에서, 엔터프라이즈 리눅스 시장의 최강 제품인 Red Hat 엔터프라이즈 리눅스의 신기술로써, Red Hat Enterprise Linux AI(RHEL AI)에 대한 소개가 있었는데요. 관련 기사 공유합니다.😃 (출처: Red Hat Blog)

<Red Hat 엔터프라이즈 리눅스 AI란?>

• Red Hat은 엔터프라이즈 애플리케이션을 지원하는 동종 업계 최고의 오픈 소스인 그래나이트(Granite) 생성형 AI 모델을 원활하게 개발, 테스트 및 실행하기 위한 기반 모델 플랫폼인 Red Hat Enterprise Linux AI(RHEL AI)의 개발자 프리뷰(developer preview)를 발표했습니다.

  
  

• RHEL AI는 InstructLab 오픈 소스 프로젝트를 기반으로 하며, LAB(Large-scale Alignment for chatBots) 방법론을 기반으로 IBM 리서치(Research) 및 InstructLab 모델 도구의 오픈 소스 라이센스 그래니트(Granite) 대형 언어 모델을 최적화된 부팅 가능한 RHEL 이미지에 결합하여 서버 배포를 단순화합니다.

• RHEL AI 및 InstructLab 프로젝트의 주요 목표는 도메인 전문가가 지식과 기술을 통해 대규모 언어 모델에 직접 기여할 수 있도록 역량을 부여하는 것입니다. 이를 통해 도메인 전문가는 AI 기반 애플리케이션(예: 챗봇)을 보다 효율적으로 구축할 수 있습니다.

  
  

• RHEL AI에는 다음과 같이 필요한 모든 것이 포함되어 있습니다.

  • 오픈 소스 모델과 학습을 위한 오픈 소스 기술 및 지식을 통한 커뮤니티 혁신 활용

  • 데이터 과학 경험이 없는 도메인 전문가를 대상으로 학습 및 미세 조정을 수행할 수 있는 사용자 친화적인 소프트웨어 도구 및 워크플로우 세트 제공

  • 최적화된 AI 하드웨어 지원을 갖춘 패키징 소프트웨어 및 운영 체제

  • 엔터프라이즈급 기술지원 및 지적재산권 배상

출시 배경

• LLM(대형 언어 모델) 및 이를 기반으로 하는 서비스(예: GPT 및 chatGPT)는 기업 조직에서 점점 더 많이 채택되고 있으며, 이러한 모델은 대부분 비공개 소스이거나 맞춤형 라이선스를 사용하는 경우가 많습니다.

• 최근에는 Mistral, Llama, OpenELM과 같은 다양한 오픈 모델이 등장하기 시작했습니다. 그러나 이러한 모델 중 일부의 개방성(openness)은 제한적입니다(예: 상업적 사용에 대한 제한 및/또는 학습 데이터 및 변환기 가중치 및 재현성과 관련된 기타 요소에 대한 개방성 부족). 아마도 가장 중요한 요인은 커뮤니티가 모델을 개선하기 위해 협력하고 모델에 기여할 수 있는 방법이 없다는 것입니다.

• 오늘날 LLM은 규모가 크고 범용적입니다. Red Hat은 데이터 개인정보 보호, 주권 및 기밀성을 최우선으로 하는 세계적 수준의 MLOps 도구로 둘러싸인 비용 및 성능이 최적화된 특수 목적 모델의 세계를 구상합니다.

• LLM을 미세 조정(fine-tune)하기 위한 학습 파이프라인에는 데이터 과학 전문 지식이 필요하며 학습을 위한 리소스 사용 측면과 고품질 훈련 데이터 비용 측면에서 비용이 많이 들 수 있습니다.

• Red Hat은 사용자 커뮤니티가 LLM에 기여를 생성하고 추가할 수 있도록 하는 오픈 협업용 모델과 도구에 친숙한 오픈 소스 기여자 워크플로우 및 허용적 라이선스(예: Apache2)와 같은 관련 개념을 도입할 것을 제안합니다. 이는 또한 파트너 생태계가 기업이 보호하는 정보를 확장하고 통합할 수 있도록 제품과 가치를 제공할 수 있는 역량을 강화할 것입니다.

RHEL AI 소개

• RHEL AI는 다음과 같은 4가지 기본 구성 요소로 구성됩니다.

1. 오픈 그래나이트 모델

• RHEL AI에는 Red Hat이 완벽하게 지원하고 보호하는 InstructLab 커뮤니티의 고성능, 오픈 소스 라이선스, 공동 개발된 그래니트 언어 및 코드 모델이 포함되어 있습니다. 이러한 그래니트 모델은 Apache 2 라이센스가 있으며 데이터 소스 및 모델 가중치에 대한 투명한 액세스를 제공합니다.

• 사용자는 자신의 기술과 지식으로 기본 모델을 학습하여 자신만의 맞춤형 LLM을 만들 수 있습니다. 그들은 학습된 모델과 추가된 기술 및 지식을 커뮤니티와 공유하거나 비공개로 유지하도록 선택할 수 있습니다.

• 개발자 프리뷰의 경우 사용자는 Granite 7b 영어(기본) 모델과 해당 Granite 7b LAB 모델에 액세스할 수 있습니다.

2. InstructLab 모델과 병합

• LAB(Large-Scale Alignment for ChatBots): 고품질 신테틱(synthetic) 데이터 생성을 활용하는 분류 중심 접근 방식을 통해 대규모 언어 모델의 명령 정렬 및 미세 조정에 대한 새로운 접근 방식입니다. 간단히 말해서 사용자는 도메인별 지식과 기술로 LLM을 사용자 정의할 수 있습니다. 그런 다음 InstructLab은 LLM 교육에 사용되는 고품질 신테틱 데이터를 생성합니다.

• LAB 기술에는 네 가지 개별 단계가 포함되어 있습니다

  • 분류 기반 기술 및 지식 표현

  • 교사(teacher) 모델을 사용한 합성(synthetic) 데이터 생성(SDG)

  • 비평(critic) 모델을 사용한 합성 데이터 검증

  • 학생(student) 모델을 기반으로 한 기술 및 지식 학습

• InstructLab은 LAB 기술을 구현하는 소프트웨어의 이름입니다. 이는 사용자가 추가한 새로운 기술 및 지식을 포함하여 기술 및 지식이 담긴 로컬 Git 저장소와 상호 작용하고, 신테틱 데이터를 생성하고, LLM 학습을 실행하고, 학습된 모델을 제공하고, 그것과 채팅하는 명령줄 인터페이스로 구성됩니다.

3. 그래니트 모델 및 InstructLab용으로 최적화된 부팅 가능한 RHEL

• 그래니트 모델 및 InstructLab 도구는 AMD, Intel 및 NVIDIA와 같은 공급업체의 널리 사용되는 하드웨어 가속기에 최적화된 소프트웨어 스택과 함께 부팅 가능한 RHEL 이미지에 다운로드 및 배포됩니다.

• RHEL AI 이미지는 퍼블릭 클라우드(개발자 프리뷰에서 검증된 IBM Cloud)와 Dell, Cisco, HPE, Lenovo 및 SuperMicro의 AI 최적화 서버를 포함한 Red Hat Certified Ecosystem에서 부팅 및 실행됩니다. 초기 테스트에 따르면 합리적인 시간 내에 엔드투엔드 InstructLab 실행을 완료하려면 320GB VRAM(4 x NVIDIA H100 GPU) 또는 이에 상응하는 장치가 필요합니다.

4. 엔터프라이즈 기술지원, 라이프사이클 및 면책(indemnification) 조항

• RHEL AI 서브스크립션에는 엔터프라이즈 기술지원, Granite 7B 모델 및 소프트웨어로 시작하는 전체 제품 라이프사이클, Red Hat의 IP 면책이 포함됩니다. (단, 개발자 프리뷰 단계에서는 커뮤니티 지원을 받음)

실험으로 시작해서 운영환경으로 배포하기

1. 1단계: 오픈 소스 InstructLab CLI를 사용하여 노트북(또는 데스크탑)을 시작할 수 있습니다. 이렇게 하면 InstructLab에 익숙해지고 기술과 지식이 추가된 low fidelity 모델(qlora)이 생성됩니다.

2. 2단계: RHEL AI를 베어 메탈 서버, 온프레미스 또는 클라우드의 가상 머신으로 부팅할 수 있습니다. 이제 InstructLab을 사용하여 기술과 지식의 모음을 추가하고 학습하여 충실도가 높은 학습 및 조정 모델을 얻은 다음 애플리케이션과 채팅하고 통합할 수 있습니다.

3. 3단계: 운영환경의 경우, OpenShift AI를 사용하면 더 빠르게 완료하고 더 많은 처리량을 위해 여러 노드에 교육을 분산할 수 있다는 추가 이점이 있습니다. 또한 학습된 모델을 운영 환경의 클라우드 네이티브 애플리케이션과 훨씬 쉽게 통합할 수 있습니다.

원본 기사 링크는 아래와 같습니다. 감사합니다.🙏

[Source Link] https://www.redhat.com/en/blog/what-rhel-ai-guide-open-source-way-doing-ai