[230825] 모두의연구소가 전하는 "모두를 위한 AI 뉴스"

모두의연구소는 함께 공유하고 성장하는 국내 최대 AI 커뮤니티입니다🌱. 그럼, 오늘의 AI 뉴스 시작해 볼게요! 🙂 1️⃣ CoDeF: 시간적 일관성을 지니는 비디오 변환을 위한 새로운 표현 방식 CoDeF에 대해 들어보셨나요? CoDeF는 전체 비디오의 정적 콘텐츠를 집계하는 표준 콘텐츠 필드와 시간 축을 따라 각 프레임으로 변환을 기록하는 시간적 변형 필드로 이루어진 새로운 비디오 표현입니다. 이 두 필드는 대상 비디오를 재구성하기 위해 함께 최적화됩니다. CoDeF는 이미지 알고리즘을 표준 이미지에 적용하고, 그 결과를 전체 비디오에 전파하는 것을 지원합니다. 실험 결과, CoDeF는 이미지 간 변환을 비디오 간 변환으로 확장할 수 있으며 처리된 비디오에서 높은 프레임 간 일관성을 보여줍니다. 또한 물이나 스모그와 같은 비강체 물체를 추적하는 능력까지도 있다고 하니 매우 놀랍습니다. → https://arxiv.org/pdf/2308.07926.pdf 2️⃣ 휴먼리프: 레이어별 접근을 통한 3D 인간 생성의 향상 2D 이미지를 기반으로 3D 인간을 생성하는 기술이 크게 발전하였습니다. 대부분의 모델은 한 번의 패스로 3D 인간을 생성하지만, 옷을 입은 인체의 다양한 레이어 특성은 무시되곤 합니다. 이를 극복하기 위해 레이어별 3D 인체 생성 모델인 휴먼리프(HumanLiff)를 도입했습니다. 휴먼리프는 기본적인 3D 인간 생성 후 레이어별로 옷을 점진적으로 추가합니다. 또한, 세밀한 3D 재구성을 위한 새로운 연산과 함께 3D 확산 모델 학습을 간소화하는 방법을 제안합니다. 실험 결과, 휴먼리프는 다른 최첨단 방법보다 뛰어난 성능을 보였다고 합니다. → https://arxiv.org/pdf/2308.09712.pdf 3️⃣ Strata-NeRF: 계층화된 3D 장면 표현을 위한 신경 방사 필드 확장 신경 방사 필드(NeRF)는 3D 장면 표현을 학습하여 사실적인 뷰를 생성하지만 대부분 단일 장면 또는 오브젝트에 집중합니다. 실제 세계의 장면은 여러 레벨에서 캡처될 수 있으며, 이를 원활하게 연결하면 더 몰입감 있는 경험을 제공할 수 있습니다. 이 문제점을 해결하기 위해 Strata-NeRF가 대안으로 제시되었는데요, Strata-NeRF는 벡터 양자화를 활용하여 여러 레벨의 장면을 암시적으로 캡처합니다. 실험 결과 Strata-NeRF는 계층화된 장면을 효과적으로 캡처하고, 아티팩트를 줄이며, 고해상도 뷰를 잘 합성해내는 것으로 확인되었습니다. 이제 3D 업계에도 많은 혁신을 가져올 것 같네요! → https://arxiv.org/pdf/2308.10337.pdf 📍 올 여름 마지막 기회! 놓치지 마세요. AI학교 아이펠 6기 모집 마감 임박 → https://bit.ly/3YDkLV4