> 커리어리 친구들, 이번달 전세계 인공지능 커뮤니티에서 장안의 화제가 된 DALL-E2에 대해 정리해보겠습니다. 여러분들도 잘 알고 계신 인공 지능 연구 회사인 OpenAI 사에서 원본 시스템보

> 커리어리 친구들, 이번달 전세계 인공지능 커뮤니티에서 장안의 화제가 된 DALL-E2에 대해 정리해보겠습니다. 여러분들도 잘 알고 계신 인공 지능 연구 회사인 OpenAI 사에서 원본 시스템보다 더 높은 해상도와 더 낮은 지연 시간을 가진 텍스트-이미지 생성 모델 DALL-E의 업데이트된 버전을 이번달에 출시했습니다. DALL-E 2는 기존의 DALL-E와 마찬가지로 텍스트로 그림에 대해 설명을 하면 입력 받은 명령대로 그림을 생성할 수 있으며 기존 그림을 편집할 수 있는 것과 같은 몇 가지 새로운 기능을 합니다. 물론 DALL-E 2는 오픈 소스로 제공되지 않지만 연구원들은 시스템을 테스트하기 위해 OpenAI 서비스에서 테스트 해 볼 수 있습니다. 한편, "DALL-E" 이라는 이름은 아이코닉 아티스트인 살바도르 달리(Salvador Dali)와 같은 이름으르된 픽사의 컴퓨터 애니메이션 SF 영화에 나오는 로봇 월E(WALL-E)를 합친 단어입니다. 이 모델은 평범한 마네킹부터 플란넬 셔츠, 심지어 "거북으로 만든 기린"까지 무엇이든 묘사할 수 있습니다. OpenAI는 당시 시스템을 계속 구축하면서 편향과 같은 위험을 주의 깊게 살펴보고 있다고 밝혔습니다. 그래서 그러한 버전업으로 DALL-E 2를 출시했다고 합니다. 그 뿐만 아니라 원본 모델의 텍스트 대 이미지 능력을 보다 세분화된 수준으로 적용하는 새로운 "인페인팅(In-painting)" 기능이 포함되어 있습니다. 이 기능은 업데이트된 모델을 사용하면 기존 사진으로 시작하여 일부를 선택하고 모델에 편집을 지시할 수 있습니다. 따라서 누군가 DALL-E 2에게 벽에 걸린 그림을 차단하고 새 그림으로 교체하거나 테이블에 물 한 컵을 추가하도록 요청할 수 있습니다. 모델의 정확한 특성은 그림자와 같은 세부 사항에 미치는 영향을 고려하면서 이미지에서 개체를 제거할 수 있음을 의미합니다. DALL-E 2의 두 번째 새로운 기능은 사용자가 이미지를 업로드한 다음 모델이 이미지의 변형을 생성하도록 하는 변형할 수 있습니다. 두 개의 기존 이미지를 혼합하여 두 가지 요소를 모두 포함하는 세 번째 그림을 생성하는 것도 가능합니다. 참고로 DALL-E 2는 OpenAI에서 만든 컴퓨터 비전 시스템인 CLIP을 기반으로 합니다. CLIP은 딥러닝을 사용하여 인간과 유사한 텍스트를 생성하는 이른바 자기회귀 언어 모델인 적대적 생성 사전 훈련 트랜스포머(Generative Pre-trained Transformer 3)를 기반으로 이미지를 생성합니다. CLIP은 원래 인간이 하는 것처럼 인간의 언어로 이미지를 보고 본 내용을 요약하도록 설계되었습니다. 나중에 OpenAI는 이를 반복하여 unCLIP이라는 해당 모델의 반전된 버전을 생성했고, 요약으로 시작하여 역방향으로 작동하여 이미지를 다시 생성하게 만들었습니다. 그리고 DALL-E 2에는 몇 가지 안전 장치가 내장되어 있습니다. OpenAI는 불쾌감을 줄 수 있는 이미지를 생성할 가능성을 줄이기 위해 잠재적으로 불쾌감을 줄 수 있는 자료가 먼저 제거된 데이터에 대해 훈련되었다고 설명했습니다. 이미지에는 DALL-E 2가 생성했음을 나타내는 워터마크도 포함되어 있습니다. 또한 이름을 기반으로 인식할 수 있는 사람의 얼굴을 생성할 수 없도록 했기 때문에 질문을 받으면 예를 들어 도널드 트럼프의 초상화를 그릴 수 없을 것입니다. 그렇지만 “양털로 짠 괴물처럼 보이는 수프 한 그릇”의 이 예에서 알 수 있듯이 가능성은 사실상 무한합니다. 끝으로 원래 DALL-E와 달리 DALL-E 2는 검증된 파트너만 테스트할 수 있으며 몇 가지 제한 사항이 있을 것이라고 말했습니다. 사용자는 "G 등급"이 아니거나 해를 입히거나 화가 날 수 있는 이미지를 업로드하거나 생성할 수 없습니다. 즉, 과도한 노출, 증오심 표현 또는 외설적인 사진이 허용되지 않습니다. 따라서 광범위한 테스트를 거친 후 DALL-E 2를 애플리케이션 프로그래밍 인터페이스 도구 세트에 추가하기를 희망한다고 OpenAI측은 밝혔습니다. * 추가로 살펴 볼 내용 How does DALL-E 2 actually work? (유투브): https://www.youtube.com/watch?v=F1X4fHzF4mQ Original post: https://openai.com/dall-e-2/ DALL-E2 Paper: https://cdn.openai.com/papers/dall-e-2.pdf DALL-E2 limitation and risk: https://github.com/openai/dalle-2-preview/blob/main/system-card.md