Difusi Stabil Panganteur Pangguna Wéb, atanapi SD-WebUI, mangrupikeun proyék komprehensif pikeun modél Difusi Stabil anu ngagunakeun perpustakaan Gradio pikeun nyayogikeun antarmuka browser. Dinten ayeuna, urang badé ngobrol ngeunaan EasyPhoto, plugin WebUI inovatif anu ngamungkinkeun para pangguna akhir ngahasilkeun potret sareng gambar AI. Plugin EasyPhoto WebUI nyiptakeun potret AI nganggo rupa-rupa témplat, ngadukung gaya poto anu béda sareng sababaraha modifikasi. Salaku tambahan, pikeun ningkatkeun kamampuan EasyPhoto langkung jauh, pangguna tiasa ngahasilkeun gambar nganggo modél SDXL pikeun hasil anu langkung nyugemakeun, akurat, sareng rupa-rupa. Hayu urang mimitian.

Hiji Perkenalan pikeun EasyPhoto sareng Difusi Stabil

Kerangka Difusi Stabil mangrupikeun kerangka generasi dumasar-difusi anu populér sareng kuat anu dianggo ku pamekar pikeun ngahasilkeun gambar réalistis dumasar kana déskripsi téks input. Hatur nuhun kana kamampuanana, kerangka Stable Diffusion gaduh rupa-rupa aplikasi, kalebet outpainting gambar, inpainting gambar, sareng tarjamahan gambar-ka-gambar. The Stable Diffusion Web UI, atawa SD-WebUI, nangtung kaluar salaku salah sahiji aplikasi nu pang populerna jeung well-dipikawanoh tina kerangka ieu. Éta gaduh antarmuka browser anu diwangun dina perpustakaan Gradio, nyayogikeun antarbeungeut interaktif sareng ramah-pamaké pikeun modél Difusi Stabil. Pikeun langkung ningkatkeun kontrol sareng kagunaan dina ngahasilkeun gambar, SD-WebUI ngahijikeun seueur aplikasi Difusi Stabil.

Kusabab genah anu ditawarkeun ku kerangka SD-WebUI, pamekar kerangka EasyPhoto mutuskeun pikeun nyiptakeun éta salaku plugin wéb tinimbang aplikasi anu lengkep. Kontras jeung métode nu aya nu mindeng kakurangan tina leungitna identitas atawa ngenalkeun fitur unrealistic kana gambar, kerangka EasyPhoto leverages kamampuhan gambar-ka-gambar tina model Difusi Stable pikeun ngahasilkeun gambar akurat tur realistis. Pamaké tiasa sacara gampil masang kerangka EasyPhoto salaku ekstensi dina WebUI, ningkatkeun karamahan-pamaké sareng aksés ka sauntuyan pamaké anu langkung lega. Kerangka EasyPhoto ngamungkinkeun pamaké pikeun ngahasilkeun dipandu identitas, kualitas luhur, sareng potret AI realistis nu raket nyarupaan identitas input.

Kahiji, kerangka EasyPhoto miwarang pamaké pikeun nyieun doppelganger digital maranéhanana ku unggah sababaraha gambar pikeun ngalatih hiji LoRA raray atanapi Low-Rank Adaptasi model online. Kerangka LoRA gancang-gancang nyaluyukeun modél difusi ku ngagunakeun téknologi adaptasi peringkat rendah. Proses ieu ngamungkinkeun modél dumasar kana ngartos inpormasi ID pangguna khusus. Modél anu dilatih teras dihijikeun sareng diintegrasikeun kana modél Difusi Stabil dasar pikeun gangguan. Saterusna, salila prosés interferensi, modél ngagunakeun modél difusi stabil dina usaha repaint wewengkon raray dina citakan gangguan, sarta kasaruaan antara input jeung gambar kaluaran diverifikasi ngagunakeun rupa Unit ControlNet. 

Kerangka EasyPhoto ogé nyebarkeun prosés difusi dua tahap pikeun ngatasi masalah poténsial sapertos artefak wates & leungitna identitas, ku kituna mastikeun yén gambar anu dihasilkeun ngaminimalkeun inconsistencies visual bari ngajaga identitas pangguna. Satuluyna, pipa interferensi dina kerangka EasyPhoto henteu ngan ukur pikeun ngahasilkeun potret, tapi ogé tiasa dianggo pikeun ngahasilkeun naon waé anu aya hubunganana sareng ID pangguna. Ieu ngakibatkeun yen sakali anjeun ngalatih teh modél LoRA pikeun ID tinangtu, Anjeun bisa ngahasilkeun rupa-rupa gambar AI, sahingga eta bisa mibanda aplikasi nyebar kaasup maya try-ons. 

Anjeun nyimpulkeun, kerangka EasyPhoto

1. Ngajukeun pendekatan novél pikeun ngalatih modél LoRA ku cara ngalebetkeun sababaraha modél LoRA pikeun ngajaga kasatiaan raray tina gambar anu dihasilkeun. 
2. Ngamangpaatkeun rupa-rupa métode pembelajaran tulangan pikeun ngaoptimalkeun model LoRA pikeun ganjaran identitas raray nu salajengna mantuan dina ningkatkeun kasaruaan identitas antara gambar latihan, jeung hasil dihasilkeun. 
3. Ngajukeun prosés difusi dumasar-inpaint dua tahap anu tujuanana pikeun ngahasilkeun poto AI kalayan éstétika anu luhur, sareng kasaruaan. 

EasyPhoto : Arsitéktur & Pelatihan

Gambar di handap ieu nunjukkeun prosés latihan kerangka EasyPhoto AI. 

Sakumaha anu tiasa ditingali, kerangka mimiti naroskeun pangguna pikeun nginput gambar latihan, teras ngalaksanakeun deteksi wajah pikeun ngadeteksi lokasi wajah. Sakali kerangka ngadeteksi raray, éta motong gambar input nganggo rasio spésifik anu tos ditangtukeun anu ngan ukur museurkeun kana daérah raray. Kerangka éta teras nyebarkeun kaéndahan kulit & modél deteksi saliency pikeun kéngingkeun gambar latihan wajah anu bersih & jelas. Dua model ieu maénkeun peran krusial dina ningkatkeun kualitas visual raray, sarta ogé mastikeun yén informasi tukang geus dihapus, sarta gambar latihan utamana ngandung raray. Tungtungna, kerangka ngagunakeun gambar olahan ieu sareng paréntah input pikeun ngalatih modél LoRA, sahingga ngalengkepan éta kalayan kamampuan pikeun ngartos ciri raray khusus pangguna sacara langkung efektif & akurat. 

Saterusna, salila fase latihan, kerangka ngawengku hiji hambalan validasi kritis, nu kerangka ngitung celah ID beungeut antara gambar input pamaké, jeung gambar verifikasi nu dihasilkeun ku model LoRA dilatih. Léngkah validasi mangrupikeun prosés dasar anu maénkeun peran konci dina ngahontal fusi modél LoRA, anu pamustunganana mastikeun yén kerangka LoRA dilatih transforms kana doppelganger a, atawa ngagambarkeun digital akurat pamaké. Salaku tambahan, gambar verifikasi anu ngagaduhan skor face_id optimal bakal dipilih salaku gambar face_id, sareng gambar face_id ieu teras bakal dianggo pikeun ningkatkeun kamiripan identitas generasi interferensi. 

Pindah sapanjang, dumasar kana prosés ensemble, kerangka ngalatih model LoRA kalawan estimasi likelihood jadi tujuan primér, sedengkeun preserving kamiripan identitas raray teh tujuan hilir. Pikeun ngarengsekeun masalah ieu, kerangka EasyPhoto ngagunakeun téknik diajar penguatan pikeun ngaoptimalkeun tujuan hilir sacara langsung. Hasilna, fitur raray nu model LoRA diajar perbaikan tampilan nu ngakibatkeun hiji kasaruaan ditingkatkeun antara hasil template dihasilkeun, sarta ogé mendemonstrasikan generalisasi sakuliah template. 

Prosés gangguan

Gambar di handap ieu nunjukkeun prosés interferensi pikeun ID Pamaké individu dina kerangka EasyPhoto, sareng dibagi kana tilu bagian.

• Nyanghareupan Preprocess pikeun meunangkeun rujukan ControlNet, jeung gambar input preprocessed. 

• Difusi munggaran nu mantuan dina ngahasilkeun hasil kasar nu nyarupaan input pamaké. 

• Difusi kadua nu ngalereskeun artefak wates, sahingga nyieun gambar leuwih akurat, sarta némbongan leuwih realistis. 

Pikeun input, kerangka nyandak gambar face_id (dihasilkeun nalika validasi latihan nganggo skor face_id optimal), sareng template gangguan. Kaluaran mangrupikeun potret pangguna anu lengkep, akurat, sareng realistis, sareng mirip pisan sareng identitas & penampilan unik pangguna dumasar kana citakan infer. Hayu urang gaduh katingal lengkep dina prosés ieu.

Nyanghareupan PreProcess

Hiji cara pikeun ngahasilkeun potret AI dumasar kana template gangguan tanpa alesan sadar nyaéta ngagunakeun modél SD pikeun inpaint wewengkon raray dina template gangguan. Salaku tambahan, nambihan kerangka ControlNet kana prosés henteu ngan ukur ningkatkeun pelestarian identitas pangguna, tapi ogé ningkatkeun kasaruaan antara gambar anu dihasilkeun. Sanajan kitu, ngagunakeun ControlNet langsung pikeun inpainting régional bisa ngenalkeun masalah poténsi nu bisa ngawengku

• Inkonsistensi antara Input sareng Gambar anu Dihasilkeun: Kabuktian yén titik konci dina gambar citakan henteu cocog sareng titik konci dina gambar face_id naha éta ngagunakeun ControlNet sareng gambar face_id salaku rujukan tiasa nyababkeun sababaraha inconsistencies dina kaluaran. 

• Cacat di Wewengkon Inpaint: Masking wewengkon, lajeng inpainting eta ku beungeut anyar bisa ngakibatkeun defects noticeable, utamana sapanjang wates inpaint nu teu ngan bakal mangaruhan kaaslian gambar dihasilkeun, tapi ogé négatip mangaruhan realisme gambar. 
• Leungitna Idéntitas ku Control Net: Kusabab prosés palatihan henteu ngagunakeun kerangka ControlNet, ngagunakeun ControlNet salami fase interferensi tiasa mangaruhan kamampuan modél LoRA anu dilatih pikeun ngawétkeun identitas id pangguna input. 

Pikeun ngatasi masalah anu disebatkeun di luhur, kerangka EasyPhoto ngajukeun tilu prosedur. 

• Ngajajar sareng Témpél: Ku ngagunakeun algoritma némpelkeun raray, kerangka EasyPhoto boga tujuan pikeun nungkulan masalah anu teu cocog antara ciri raray antara id raray sareng citakan. Kahiji, modél ngitung tetengger raray tina face_id jeung gambar citakan, di handap nu model nangtukeun matriks transformasi affine nu bakal dipaké pikeun align tetengger raray tina gambar citakan jeung gambar face_id. Gambar anu dihasilkeun nahan ciri anu sami tina gambar face_id, sareng ogé saluyu sareng gambar citakan. 

• sekering raray: Face Fuse mangrupikeun pendekatan novél anu dianggo pikeun ngabenerkeun artefak wates anu mangrupikeun hasil tina lukisan topeng, sareng ngalibatkeun ngalereskeun artefak nganggo kerangka ControlNet. Metoda ngamungkinkeun kerangka EasyPhoto pikeun mastikeun pelestarian of edges harmonis, sahingga pamustunganana guiding prosés generasi gambar. Algoritma fusi raray langkung ngahijikeun gambar roop (gambar pangguna bebeneran taneuh) sareng citakan, anu ngamungkinkeun gambar gabungan anu hasilna nunjukkeun stabilisasi wates anu langkung saé, anu teras nyababkeun kaluaran anu ditingkatkeun dina tahap difusi munggaran. 
• ControlNet dipandu Validasi: Kusabab modél LoRA henteu dilatih nganggo kerangka ControlNet, ngagunakeun éta nalika prosés inferensi tiasa mangaruhan kamampuan modél LoRA pikeun ngawétkeun idéntitas. Pikeun ningkatkeun kamampuan generalisasi EasyPhoto, kerangka mertimbangkeun pangaruh kerangka ControlNet, sareng ngalebetkeun model LoRA tina tahapan anu béda. 

Difusi munggaran

Tahap difusi munggaran ngagunakeun gambar citakan pikeun ngahasilkeun gambar kalawan id unik nu nyarupaan id pamaké input. Gambar input mangrupikeun gabungan tina gambar input pangguna, sareng gambar citakan, sedengkeun topéng pameunteu anu dikalibrasi nyaéta topéng input. Pikeun langkung ningkatkeun kontrol kana generasi gambar, kerangka EasyPhoto ngahijikeun tilu unit ControlNet dimana unit ControlNet munggaran museurkeun kana kontrol gambar anu ngahiji, unit ControlNet kadua ngadalikeun warna gambar anu ngahiji, sareng unit ControlNet anu terakhir nyaéta openpose. (real-time kontrol pose manusa multi-jalma) tina gambar diganti nu teu ngan ngandung struktur raray tina gambar template, tapi ogé identitas raray pamaké.

Difusi kadua

Dina tahap difusi kadua, artefak deukeut wates beungeut anu disampurnakeun tur finest disetel sapanjang kalawan nyadiakeun pamaké kalawan kalenturan pikeun mask wewengkon husus dina gambar dina usaha pikeun ngaronjatkeun efektivitas generasi dina wewengkon dedicated. Dina tahap ieu, kerangka ngahijikeun gambar kaluaran anu dicandak tina tahap difusi kahiji sareng gambar roop atanapi hasil gambar pangguna, sahingga ngahasilkeun gambar input pikeun tahap difusi kadua. Gemblengna, tahap difusi kadua maénkeun peran krusial dina ningkatkeun kualitas sakabéh, sarta detil gambar dihasilkeun. 

Multi pamaké ID

Salah sahiji sorotan EasyPhoto nyaéta dukunganna pikeun ngahasilkeun sababaraha ID pangguna, sareng gambar di handap nunjukkeun jalur pipa prosés interferensi pikeun ID multi pangguna dina kerangka EasyPhoto. 

Pikeun nyadiakeun pangrojong pikeun generasi ID multi-pamaké, kerangka EasyPhoto mimiti ngalakukeun deteksi beungeut dina citakan gangguan. Témplat gangguan ieu teras dibagi kana sababaraha masker, dimana unggal topéng ngan ukur ngandung hiji raray, sareng sesa gambarna ditutupan ku warna bodas, sahingga ngarobih generasi ID multi-pamaké janten tugas saderhana pikeun ngahasilkeun ID pangguna individu. Sakali kerangka ngahasilkeun gambar ID pamaké, gambar ieu dihijikeun kana citakan inferensi, sahingga facilitating integrasi seamless tina gambar template jeung gambar dihasilkeun, nu pamustunganana ngahasilkeun gambar kualitas luhur. 

Percobaan jeung Hasil

Ayeuna urang gaduh pamahaman ngeunaan kerangka EasyPhoto, waktosna pikeun urang ngajalajah kinerja kerangka EasyPhoto. 

Gambar di luhur dihasilkeun ku plugin EasyPhoto, sarta ngagunakeun modél SD dumasar Style pikeun generasi gambar. Salaku bisa dititénan, gambar dihasilkeun kasampak realistis, sarta cukup akurat. 

Gambar anu ditambahkeun di luhur dihasilkeun ku kerangka EasyPhoto ngagunakeun modél SD dumasar Gaya Komik. Salaku bisa ditempo, poto komik, jeung poto realistis kasampak rada realistis, sarta raket nyarupaan gambar input dina dasar pamaké nyarankeun atawa sarat. 

Gambar nu ditambahkeun handap geus dihasilkeun ku kerangka EasyPhoto ku nyieun pamakéan template Multi-Jalma. Sapertos tiasa katingali jelas, gambar anu dihasilkeun jelas, akurat, sareng mirip sareng gambar asli. 

Kalayan bantosan EasyPhoto, pangguna ayeuna tiasa ngahasilkeun rupa-rupa potret AI, atanapi ngahasilkeun sababaraha ID pangguna nganggo témplat anu dilestarikan, atanapi nganggo modél SD pikeun ngahasilkeun témplat inferensi. Gambar anu ditambihan di luhur nunjukkeun kamampuan kerangka EasyPhoto dina ngahasilkeun gambar AI anu rupa-rupa sareng kualitas luhur.

kacindekan

Dina artikel ieu, urang geus ngobrol ngeunaan EasyPhoto, a novél WebUI plugin anu ngamungkinkeun pamaké tungtung ngahasilkeun potret & gambar AI. Plugin EasyPhoto WebUI ngahasilkeun potret AI nganggo témplat sawenang-wenang, sareng implikasi ayeuna tina EasyPhoto WebUI ngadukung gaya poto anu béda, sareng sababaraha modifikasi. Salaku tambahan, pikeun ningkatkeun kamampuan EasyPhoto, pangguna gaduh kalenturan pikeun ngahasilkeun gambar nganggo modél SDXL pikeun ngahasilkeun gambar anu langkung nyugemakeun, akurat, sareng rupa-rupa. Kerangka EasyPhoto ngagunakeun modél dasar difusi anu stabil ditambah sareng modél LoRA anu parantos dilatih anu ngahasilkeun kaluaran gambar kualitas luhur.

Museurkeun generator gambar? Kami ogé nyayogikeun daptar daptar Generators AI Headshot pangsaéna jeung Generators Gambar AI pangsaéna anu gampang dianggo sareng henteu peryogi kaahlian téknis.