[1125]모두에게 전하는 모두연 AI뉴스!

• 스테이블 디퓨전의 샘플러를 스타일 맞춤형으로 개량!

SNR Sampler최근 디퓨전 모델은 고품질 이미지를 생성하지만 새롭고 개인화된 예술 스타일 학습에는 한계가 있습니다. 이를 해결하기 위해 서울대학교 연구진들이 Style-friendly SNR 샘플러를 제안하였습니다. SNR 샘플러는 미세 조정 과정에서 신호 대 잡음비 분포를 높은 노이즈 수준으로 이동시켜 스타일적 특징을 더 잘 포착합니다. 기존의 사전 학습된 목적 함수와 노이즈 분포를 그대로 사용하는 대신, 스타일에 최적화된 새로운 접근 방식을 도입함으로써 개인화된 스타일 템플릿 생성이 가능해졌습니다. 이를 통해 수채화, 만화, 3D 렌더링, 텍스트가 포함된 밈 등 다양한 스타일 기반 이미지를 더 효과적으로 생성할 수 있게 되었습니다.

https://huggingface.co/papers/2411.14793

• 미니멀하지만 강력한 디퓨전 모델 범용 제어 프레임워크 OminiControl

OminiControl은 디퓨전 트랜스포머(DiT) 모델에 이미지 조건을 효율적으로 통합하는 새로운 프레임워크입니다. 기존 방법들이 복잡한 추가 인코더를 필요로 했던 것과 달리, OminiControl은 단 0.1%의 추가 파라미터만으로 이미지의 조건을 처리할 수 있으며, subject 기반 생성부터 엣지, 깊이 등과 같은 공간적으로 정렬된 조건까지 광범위한 이미지 조건 태스크를 통합된 방식으로 처리합니다. 싱가포르대학 연구진들은 광범위한 평가를 통해 OminiControl이 주체 기반 (subject-based) 생성 과 공간적으로 정렬된 조건부 생성 모두에서 기존의 UNet 기반 및 DiT 적응 모델들을 능가함을 입증했습니다. 또한 연구자들은 주체 일관성 (subject-consistent) 생성 연구를 발전시키기 위해 20만 개 이상의 일관된 정체성을 가진 이미지로 구성된 다양한 컬렉션인 Subjects200K 학습 데이터셋과 효율적인 데이터 합성 파이프라인을 공개합니다.

https://github.com/Yuanshi9815/OminiControl

[아이펠 12기] 2024 마지막 개강
AI 입문부터 활용까지! 코어과정 & 논문으로 완성하는 리서치과정:
https://bit.ly/40T8YFx