✌️ AI로 문제정의, 요구사항 정의, 화면 디자인 그리고 검증까지!
Learning by Doing
[1129]모두에게 전하는 모두연 AI뉴스!
인간 포즈의 이해, 생성 및 편집을 위한 통합 멀티모달 프레임워크 UniPose
중국 과학기술원의 연구자들이 UniPose를 발표하였습니다. UniPose는 대규모 언어 모델(LLM)을 활용하여 이미지, 텍스트, 3D SMPL 포즈를 포함한 다양한 모달리티에서 인간 포즈를 이해하고, 생성하고, 편집하는 프레임워크입니다. 포즈 토큰화기를 적용하여 3D 포즈를 이산적인 포즈 토큰으로 변환함으로써 통합된 어휘 내에서 LLM과 원활하게 통합합니다. 미세한 포즈 인식 능력을 더욱 향상시키기 위해, UniPose는 포즈 특화 시각 인코더를 포함한 다양한 시각 인코더의 혼합을 활용합니다. 통합된 학습 전략으로 UniPose는 다른 포즈 관련 작업들 간에 지식을 효과적으로 전이하고, 미지의 작업에도 좋은 적응력을 보여주며, 확장된 능력을 보입니다. 이 연구는 포즈 이해, 생성, 편집을 위한 범용 프레임워크를 구축하는 최초의 시도로써, 광범위한 실험을 통해 다양한 포즈 관련 작업에서의 경쟁력 있고 때로는 우월한 성능을 증명하였습니다.
https://arxiv.org/pdf/2411.16781
VLM 오류를 잡아내는 VLM
비평가들상하이 AI 연구소와 다국적 공동 연구진들이 VLM의 추론 능력을 개선하기 위해 Critic-V라는 혁신적인 프레임워크를 제안하였습니다. 이 접근법은 두 주요 구성 요소로 이루어져 있습니다: 추론자(Reasoner)와 비평자(Critic)입니다. 추론자는 시각적, 텍스트 입력을 기반으로 추론 경로를 생성하고, 비평자는 이 경로에 대한 건설적인 피드백을 제공합니다. 강화 학습 프레임워크를 기반으로, 비평자는 스칼라 보상 대신 자연어 비평을 통해 추론자의 성능을 향상시킵니다. 비평자 모델은 직접 선호도 최적화(DPO) 기법을 사용하여 훈련되며, 규칙 기반 보상을 통해 비평 능력을 개선합니다. 실험 결과, Critic-V는 8개 벤치마크 중 5개에서 기존 방법들(GPT-4V 포함)보다 우수한 성능을 보였습니다. 이 접근법은 자율 주행, 체화된 지능 등 복잡한 멀티모달 응용 프로그램에서 VLMs의 신뢰성과 추론 정확성을 크게 향상시킬 수 있는 잠재력을 보여주었습니다.
https://arxiv.org/pdf/2411.18203
[아이펠 12기] 2024 마지막 개강
AI 입문부터 활용까지! 코어과정 & 논문으로 완성하는 리서치과정:
https://bit.ly/40T8YFx
기술은 기본, 지표 중심 프로젝트를 완성하는 데이터 분석가 과정
https://bit.ly/4g1gvGk
다음 내용이 궁금하다면?
이미 회원이신가요?
2024년 11월 29일 오전 9:13
댓글 0
함께 읽은 게시물
SI 프로젝트의 외력을 감당하는 방법
드라마 ‘나의 아저씨’에서 故 이선균이 아이유를 위로하는 많은 이야기를 했는데 아래 ‘인생을 힘들게 하는 외력과 그것을 버텨내는 내력’도 그중 하나다.
... 더 보기하늘은 스스로 돕는 자를 돕는다
인생이 게임과 다른 점을 이야기하자면, 여러 사람이 똑같은 선택을 해도 그 결과는 모두 다르다는 것이다. 현실에서는 결과에 영향을 미치는 요인이 매우 많으며, 심지어 여러 요인이 서로 복잡하게 얽혀 결과를 달라지게 만들기 때문이다. 그리고 좋은 결과로 연결된 사람들이 대체로 자신의 이야기를 공유한다. 좋지 않은 결과를 가지고 글을 쓰거나 영상을 만드는 경우가 상대적으로 많지 않다. 그래서, 온라인에서 접하는 이야기들은, 종종 달콤하지만 현실과는 동떨어진 이야기가 되고 만다.
... 더 보기
