1️⃣ [AnyMAL: 멀티모달 신호의 텍스트 변환 및 강화된 성능을 위한 통합 모델]

AnyMAL은 다양한 입력 모달리티 신호를 처리하여 텍스트 응답을 생성하는 통합 모델입니다. 이 모델은 LLaMA-2(70B)의 텍스트 기반 추론 능력을 기반으로 각 모달리티별 신호를 텍스트 공간으로 변환합니다. 우리는 멀티모달 명령어 세트를 활용하여 모델을 더욱 강화하였고, 이는 다양한 멀티모달 작업에서 최첨단 성능을 보입니다.

https://huggingface.co/papers/2309.16058

2️⃣ [Kandinsky: 확산 기법을 통합한 텍스트-이미지 생성을 위한 최첨단 아키텍처]

텍스트-이미지 생성은 컴퓨터 비전의 핵심 분야로, 확산 기반 모델이 주요한 품질 향상을 가져왔습니다. 본 연구는 확산 기법과 이미지 선행 모델을 결합한 새로운 잠재 확산 아키텍처인 'Kandinsky1'을 제시하며, 33억 개의 파라미터를 포함하고 있습니다. 이 모델은 다양한 생성 모드를 지원하며, 친화적인 데모와 소스 코드를 공개했습니다. 실험 결과, 칸딘스키는 COCO-30K에서 8.03의 FID 점수를 기록, 최고의 오픈소스 성능을 보였습니다.

https://huggingface.co/papers/2310.03502

3️⃣ [DAMON과 DECO: 고밀도 3D 접촉 추론을 위한 새로운 데이터 세트 및 모델]

인간의 신체 접촉을 통한 상호작용을 이해하는 것은 인간 중심 AI 구현의 핵심입니다. 본 연구에서는 RGB 이미지와 결합된 고밀도 3D 접촉 주석을 포함하는 새로운 데이터 세트인 DAMON을 제시하며, 이를 활용하여 신체와 물체 사이의 밀도 높은 3D 접촉을 추론하는 DECO 모델을 개발했습니다. DECO는 인간 관찰자의 접촉 관련 인사이트에 기반하여 신체와 장면의 상호작용을 추론합니다. 결과적으로, DECO는 기존 방법보다 뛰어난 성능을 보이며 실제 인간 상호작용에 잘 일반화됩니다. 아래 링크에서 코드 및 데모를 확인할 수 있습니다.

https://huggingface.co/papers/2309.15273

—

🥇[마감임박] K-디지털 트레이닝 훈련기관 최초!

'대통령 표창' 수상한 모두의연구소의 AI학교 아이펠 입학하기 → https://bit.ly/3YDkLV4