전 세계 LoRA 훈련 스크립트여, 단결하라!

TL;DR ❓ SDXL Dreambooth LoRA 훈련 실전 팁 1️⃣ 피보탈 튜닝 기법을 사용해라 (심지어 텍스트 인코더 전체 튜닝하는 것보다 우수하다) 2️⃣ Prodigy 같이 학습률이 동적으로 조정되는 옵티마이저 써라, AdamW 쓸거면 텍스트 인코더와 UNet 학습률을 다르게 줘라 3️⃣ 캡션을 단일하게 주지말고 각 이미지마다 맞춤형으로 줘라 4️⃣ Min SNR Gamma 가중치를 부여해라 5️⃣ 훈련 셋 구성(특히 사람 얼굴 관련): 고해상도 사진을 선택해라(저품질 다수 < 고품질 소수), 클로즈업에 전신 사진도 포함시켜라, 사진의 다양성이 매우 중요하다, 프라이어 보존 손실 사용하되 클래스 이미지 생성하는 것보다 실제 사진을 사용하는 편이 낫다, 닮은 유명인을 프롬프트에 인용하는 것도 팁! 소스코드: https://github.com/huggingface/diffusers/blob/main/examples/advanced_diffusion_training/train_dreambooth_lora_sdxl_advanced.py