[1114]모두에게 전하는 모두연 AI뉴스!

• SAMPart3D: 텍스트 프롬프트 없이 확장 가능한 제로샷 3D 부품 Segmentation 프레임워크

SAMPart3D는 텍스트 프롬프트 없이도 3D 개체를 세분화된 의미적 부품으로 분할할 수 있는 확장 가능한 제로샷 3D 부품 분할 프레임워크입니다. 이 프레임워크는 레이블이 없는 대규모 3D 데이터 세트를 다룰 수 있도록 텍스트에 의존하지 않는 비전 기반 모델을 사용하여 확장성을 확보하며, 여러 세분화된 부품 인식을 위해 스케일 조정된 3D 특징을 증류합니다. 이후, VLM을 통해 각 부품에 시맨틱 레이블을 할당하여 정확한 Segmentation 을 가능하게 합니다. SAMPart3D는 Objaverse 데이터 세트와 같은 대규모 3D 오브젝트에 적용할 수 있으며, 기존 제로샷 방법보다 높은 성능을 보이며, 다양한 부품 편집 및 인터랙티브 분할 애플리케이션에 활용될 수 있습니다.

https://yhyang-myron.github.io/SAMPart3D-website

• Add-it: 텍스트 지침을 활용한 자연스러운 이미지 객체 추가를 위한 훈련 불필요 접근 방식

Add-it은 텍스트 지침에 따라 이미지에 객체를 자연스럽게 추가하는 훈련이 필요 없는 접근 방식으로, 장면 이미지, 텍스트 프롬프트, 생성된 이미지 자체의 정보를 통합하여 자연스러운 객체 배치를 실현합니다. 이 모델은 diffusion 모델의 어텐션 메커니즘을 확장하고 가중치를 적용하여 구조적 일관성과 세부 디테일을 유지하면서도 자연스러운 위치에 객체를 추가할 수 있습니다. 작업별 미세 조정 없이도 Add-it은 새로 구축된 '객체 배치 타당성 벤치마크'와 같은 실제 및 생성 이미지 삽입 테스트에서 최첨단 성능을 보여주었으며, 사람 평가에서도 80% 이상의 선호도를 얻었습니다.

https://research.nvidia.com/labs/par/addit/

[아이펠 11기] AI 입문부터 활용까지! AI개발자 과정!
AI학교 아이펠 11기 모집 중: https://bit.ly/aiffel_online_11th