[1211]모두에게 전하는 모두연 AI뉴스!

• UniReal: 이미지 생성과 편집, 이제 하나의 프레임워크로!

UniReal은 다양한 이미지 생성 및 편집 작업을 처리하도록 설계된 통합 프레임워크입니다. 기존 솔루션은 작업마다 다르지만 입력과 출력 간의 일관성을 유지하면서 시각적 변형을 포착한다는 기본 원칙을 공유합니다. 일관성과 변형 간의 균형을 효과적으로 조정하는 최근 비디오 생성 모델에서 영감을 받아 이미지 수준 작업을 불연속 비디오 생성으로 취급하는 통합 접근 방식을 제안합니다. 특히 다양한 수의 입력 및 출력 이미지를 프레임으로 처리하여 이미지 생성, 편집, 사용자 지정, 합성 등과 같은 작업을 원활하게 지원합니다. UniReal은 대규모 비디오에서 세계 역학을 학습하여 그림자, 반사, 포즈 변형 및 개체 상호 작용을 처리하는 고급 기능을 보여주는 동시에 새로운 응용 프로그램에 대한 새로운 기능도 보여줍니다.

https://huggingface.co/papers/2412.07774

• DiffSensei: 내 마음대로 캐릭터를 조종하는 AI 만화 제작 도구!

DiffSensei는 사용자 정의 가능한 멀티 캐릭터 제어를 위해 특별히 설계된 새로운 프레임워크입니다. 이 프레임워크는 텍스트 기반 캐릭터 이미지 어댑터 역할을 하는 다중 모드 대규모 언어 모델(MLLM)과 확산 기반 이미지 생성기를 통합합니다. 마스크된 교차 어텐션을 사용하여 캐릭터 이미지를 통합하고 직접 픽셀 전송 없이 정확한 레이아웃 제어를 가능하게 합니다. 또한 MLLM 기반 어댑터는 패널별 텍스트 신호에 맞게 캐릭터 특징을 조정하여 캐릭터 표정, 포즈 및 동작을 유연하게 조정할 수 있도록 합니다. 광범위한 실험을 통해 DiffSensei가 기존 모델보다 성능이 뛰어나 텍스트 적응형 캐릭터 사용자 정의를 가능하게 함으로써 만화 생성의 상당한 발전을 이루었음을 보여줍니다.

https://huggingface.co/papers/2412.07589

[아이펠 12기] 2024 마지막 개강
AI 입문부터 활용까지! 코어과정 & 논문으로 완성하는 리서치과정:
https://bit.ly/40T8YFx
기술은 기본, 지표 중심 프로젝트를 완성하는 데이터 분석가 과정
https://bit.ly/4g1gvGk