엔비디아의 StyleGAN과 OpenAI의 C | 커리어리

엔비디아의 StyleGAN과 OpenAI의 CLIP을 결합한 새로운 신경망 모델 StyleCLIP이 핫하네요. CLIP의 자연어-이미지 맵핑을 활용해서, 텍스트를 통해 소스 이미지를 변조할 수 있습니다. 오바마 전 대통령의 사진을 넣고 '모히컨 헤어스타일'이라고 치면 모히컨 스타일의 오바마 전 대통령 사진이 만들어지는 식입니다. 내부적으로는, '모히컨 헤어스타일'이라는 텍스트의 벡터를 CLIP 텍스트 인코더로 구합니다. 그리고 모히컨 헤어스타일의 이미지를 StyleGAN으로 만들고, 이를 CLIP 사진 인코더에 넣어 벡터를 구합니다. 이 두 벡터의 코사인 유사도로 손실 함수를 정의합니다. 그러면 손실 함수를 최소회시키는 과정에서 StyleGAN의 이미지와 텍스트가 서로 매칭되는 것입니다.

orpatashnik/StyleCLIP

GitHub

2021년 4월 6일 오후 2:48

댓글 0

함께 보면 더 좋은

솔라나에서 모바일 폰을 내놓는다는 소식에 업계가 시끌시끌합니다. 6.67" OLED 디스플레이, 12 GB RAM, 512 GB 스토리지, 스냅드래곤 8+ Gen 1 프로세서를 탑재한 이 기기는 23년 1분기에 출시될 예정이라고 합니다. 사실 이른바 '블록체인 폰'은 웹3 업계의 오랜 숙제이기도 합니다. 모든 디지털 환경은 모바일 중심으로 편성되어 있는데, 모바일에서의 결제는 앱스토어(구글, 애플)가 장악하고 있고, 모바일에서의 ID 역시 SSO(구글, 페이스북, 애플, 카카오 ...) 가 장악하고 있으니까요. 블록체인 인프라가 끼여들 여지도 없거니와, 이해관계 충돌이 일어납니다. 진짜 웹3 중심으로 모바일 경험이 이루어지려면 모바일 기기에 탑재된 개인 키가 ID와 결제 양쪽의 중심이 되어야 하고, 기기와 소프트웨어의 어느 정도 수직계열화가 이루어져야 seamless한 경험을 제공할 수 있는 거죠. 이전에 Sirin Labs, 그리고 HTC의 EXODUS가 이와 같은 시도를 했으나 대중화에 성공하지 못했던 전력도 있습니다. 과연 블록체인 메인넷 프로젝트가 하드웨어 도입으로 모바일 경험의 혁신을 이룰 수 있을지, 지켜보시죠.

Solana Mobile debuts Saga, a flagship Android phone for web3

Solana | News

추천 프로필

현직자에게 업계 주요 소식을 받아보세요.

현직자들의 '진짜 인사이트'가 담긴 업계 주요 소식을 받아보세요.

커리어리 | 일잘러들의 커리어 SNS