AI繪畫入門（九）——終結(jié)篇：圖生圖與ControlNet

金剛葫蘆叔

原以為入門教程做個三四期就結(jié)束了，沒想到一轉(zhuǎn)眼都已經(jīng)到了九…?? 九為數(shù)之極，該講的基礎(chǔ)知識也講的差不多了，今天就來為它畫個句號吧。 七月初應(yīng)家人邀約進入美篇（注冊挺早但基本沒用過），發(fā)現(xiàn)這里AIGC相關(guān)內(nèi)容幾近空白，于是開始做SD入門教程，兩個月下來雖然留言交流者寥寥無幾，但看到許多經(jīng)常來逛的小伙伴已經(jīng)默默曬出了自己的AI畫作，葫蘆叔也算老懷得慰了。 其實吧，如果只想大致按描述生成幾張美圖又不介意花點小錢的話，還是比較推薦去玩midjourney，畢竟MJ門檻低下限高，就算閉著眼睛寫提示詞生出來的圖一般也丑不到哪去。國內(nèi)現(xiàn)在也有鏡像和api接入網(wǎng)站了，價格就那樣吧，比在官網(wǎng)直接買還便宜一點（限制也更多些）。 但是，如果你對精準(zhǔn)構(gòu)圖有要求而不僅僅滿足于抽卡，那MJ出圖效果再好也不推薦。為啥呢？因為它和SD之間隔著整整一個“圖生圖”體系。有人可能立馬要說了，葫蘆叔你沒玩過MJ就別亂說，人家明明有圖生圖功能——沒錯，它有，但其實沒有??。在MJ中，無論使用/describe命令還是直接墊圖，實際上都是在拿用戶輸入的圖像反推提示詞，再把得到的提示詞輸入文生圖模塊來實現(xiàn)偷梁換柱式的偽圖生圖。所以你會發(fā)現(xiàn)要想在MJ里完全復(fù)現(xiàn)一張非AI生成的圖片，幾乎是個不可能完成的任務(wù)，精準(zhǔn)的指定構(gòu)圖更是想都別想。 難道SD就能做到嗎？——不但能，而且還能玩出花?? 別忘了stable diffusion的語意就是穩(wěn)定擴散，通過對圖像加噪去噪來實現(xiàn)擴散成像正是它的看家本領(lǐng)，別說復(fù)現(xiàn)，就是想把圖像原封不動的放大十幾倍也不在話下，事實上我們在文生圖里使用的高清修復(fù)就是一次附帶高清放大的圖生圖。 在SD-webUI中，圖生圖是獨立于文生圖的一大體系，包括圖生圖、涂鴉、局部重繪、涂鴉重繪和蒙版重繪。而吐司提供的只是一個閹割版的基礎(chǔ)圖生圖功能，能做到什么呢？讓我們來試試看吧。打開吐司隨便選個底模，點擊工作臺中部的圖生圖按鍵，選擇之前生成的處女作，把原來的描述詞改成一個男人并加入一些男性相關(guān)特征比如胡子、短發(fā)、男性氣質(zhì)、酷，分別把重繪幅度設(shè)為0.2、0.6和1，點擊生成得到以下結(jié)果： 可以看到，重繪幅度0.2（左）的時候，我們輸入的提示詞完全失效，得到的基本就是原圖；0.6（中）的時候，女人變成了男人，但大致的構(gòu)圖和部分人物特征得到了保留；重繪幅度為最大值1（右）時，則完全按照提示詞生成了一張全新圖像。這說明SD在圖生圖的過程中既參考了我們輸入的原始圖像，又在此基礎(chǔ)上根據(jù)提示詞對圖像做了修改，而控制二者平衡的參數(shù)就是重繪幅度，該數(shù)值越低（最低0.1），原圖權(quán)重越高，所以當(dāng)我們把重繪幅度拉到0.2以下時，就可以通過upscale腳本下的各類放大算法來無損放大圖片了（吐司里沒有腳本擴展，只能用高清修復(fù)代替）。 圖生圖的另一個常用功能是局部重繪，吐司在昨天的更新里剛剛加入了這個功能，不過目前只能用于自己生成的圖像而且操作界面似乎也還沒有完善，感興趣的小伙伴可以打開電腦到哩布哩布AI里嘗試。其原理就是把圖像的一部分用畫筆勾選出來形成蒙版，然后只針對蒙版內(nèi)容（也可以排除蒙版內(nèi)容）進行圖生圖操作，以實現(xiàn)修復(fù)圖像或局部改變圖像的目的，例如幫助下圖中這位小姐姐找回失去的手臂： 雖然最新版本的MJ里也加入了局部重繪功能，但正如上文所述，除非徹底推倒重來改寫算法，否則受限于模型底層結(jié)構(gòu)的MJ無論如何都無法做到真正意義上的圖生圖，只能通過不斷完善文生圖體系來曲線救國。這種做法面對普通的圖生圖功能或許尚可一戰(zhàn)，但隨著今年3月一款基于SD圖生圖算法的神級插件橫空出世，MJ業(yè)界龍頭的位置徹底易主，也讓原本只能作為玩具的AI繪圖一夜之間躍升為生產(chǎn)工具，多個相關(guān)行業(yè)業(yè)態(tài)隨之改變。這款里程碑式的插件，就是ControlNet（控制網(wǎng)絡(luò)）。 ControlNet雖然只是SD的一個擴展插件，但它實際上是多個不同體系不同功能的控件合集，這些控件既能夠獨立運作，也可以聯(lián)合運行，并且完全兼容SD其它功能和擴展，甚至還誕生了如openpose editor、depth lib等專門服務(wù)于ControlNet子控件的“孫控件”，其具體應(yīng)用單獨列出來足以形成一套內(nèi)容豐富的系列課程，也超出了咱們?nèi)腴T教程的教學(xué)范疇，所以在此，葫蘆叔只簡單舉例來為大家說明它的強大之處。 仍然以吐司為例（我真應(yīng)該找他們要廣告費），在“添加LoRA風(fēng)格”的旁邊就可以看到“添加ControlNet”按鍵，點擊后彈出子控件列表。 這里的ControlNet只是一個閹割版本，可即便如此，琳瑯滿目的控件也足以讓新手頭暈?zāi)垦＃J叔就給大家推薦幾個較為常用的吧。首先是openpose，也就是列表里的第一個子控件。它的作用是讀取人體姿態(tài)——注意僅限人型生物，阿貓阿狗啥的是不行的哦。我們點擊控件打開參數(shù)設(shè)置界面，任選一張姿勢圖或者自己從相冊里導(dǎo)入一張，恩，就這個鼠女郎吧，預(yù)處理器選擇openpose_full。 圖片導(dǎo)入后稍微等一下，就可以看到右側(cè)空白處生成了一張由點和線組成的骨骼圖（如果選擇預(yù)設(shè)姿勢會直接讀取骨骼圖，不需要預(yù)處理），這就是openpose插件實際使用的控制圖形，之前選擇預(yù)處理器就是為了更準(zhǔn)確的從參考圖中提煉出這個骨骼圖。點擊確認(rèn)回到工作臺，可以看到這里有兩個參數(shù)，位于上方的是Openpose權(quán)重值，默認(rèn)為1；下方的Control step是控件介入時間，用于調(diào)整控件參與圖像繪制的具體時段，兩個數(shù)值分別對應(yīng)開始時間和結(jié)束時間，這里我們?nèi)急３帜J(rèn)不做修改。 正好剛才演示圖生圖時選擇的底模和一個男人的提示詞都還在，就讓我們直接點擊生成看看效果： 哎媽……這有點辣眼睛-_-||，還是到提示詞里增加個黑外衣、灰褲子，重新生成一次吧。 通過和參考圖的對比不難看出，根據(jù)提示詞描述生成的圖像內(nèi)容已經(jīng)和參考圖大相徑庭，但鼠女郎雙手叉腰的姿態(tài)卻被完美的保留了下來。這就意味著我們可以在自定義人物特征的前提下精準(zhǔn)控制人物姿態(tài)，如果單憑文生圖+抽卡想做到這種程度那恐怕得不吃不喝抽上一年?? 事實上我們不但可以從圖片中讀取人物姿態(tài)，還可以利用openpose editor插件來自行編輯人物姿態(tài)或者添加多個人物角色，這插件甚至還有個3D版本可以像建模一樣實現(xiàn)360度無死角的精準(zhǔn)調(diào)節(jié)（只是操作有點反人類）。當(dāng)然了這些東西哩布哩布AI和吐司里都沒有，就不展開講了。 說到吐司，丫這兩天估計是上TX黑名單了，頁面和小程序頻頻被封，ControlNet模塊也出了問題一調(diào)用就報錯，沒辦法，本節(jié)課后半部分內(nèi)容就用葫蘆叔自己家里部署的SD-webUI來演示吧。 上面這張圖里展示的就是SD-webUI的ControlNet界面，可以看到光是子控件就有18個，每個控件至少對應(yīng)一個模型和N個預(yù)處理器，咱們這里就挑重點簡單過一下。既然教學(xué)設(shè)備升級了，那就給參考圖像也升個級吧——有請大名鼎鼎的古墓麗影女主角勞拉·克勞馥，掌聲歡迎～ 好現(xiàn)在請大家把目光從勞拉小姐姐身上移開，觀察下圖中羅列的這四張黑白圖像，它們和之前的openpose骨骼圖一樣，都是從參考圖中經(jīng)由預(yù)處理器提取出來供ControlNet讀取的控制圖，分別屬于canny（左上）、lineart（右上）、softedge（左下）和sketch（右下），這四個控件的作用機制比較類似，都是采用邊緣檢測算法來復(fù)現(xiàn)圖像輪廓，區(qū)別主要在于邊緣檢測的精度和算法延展性，所以干脆就放在一起做個對比。 其實從這四張控制圖就能大致觀察到：canny（硬邊緣）檢測出的輪廓線最為密集，生成的控制圖像有點像以前小人書上那種白描線稿，只不過變成了黑底白線（這下真成白描了??），通常情況下它都能夠以較高的精度還原圖像輪廓，讓我們來看看這次的效果如何： 不難看出canny的整體表現(xiàn)還是很不錯的，雖然有些小瑕疵，但通過抽卡或完善提示詞都可以輕易解決。再來看lineart，翻譯過來就是線稿——沒錯不用懷疑，大家平時在各種P圖軟件上看到的什么一鍵提取線稿用的就是閹割版的它了。選擇不同的預(yù)處理器提取的線稿效果也不同，這里葫蘆叔使用的是適用于真實系圖像的lineart_realistic，可以看到它生成的控制圖和canny很像，但線條相對更少更精煉，還隱約描繪出了一定的空間關(guān)系，實際效果如下： 怎么樣，效果是不是很不錯？人物的整體形態(tài)、肌肉線條甚至肘部的皮膚細(xì)節(jié)都得到了近乎完美的復(fù)現(xiàn)，事實上在這幾種基于邊緣檢測的子控件中，lineart對人物面部的還原程度通常也是最高的。接下來輪到softedge（軟邊緣）出場啦，看這個譯名就知道相比canny（硬邊緣）它的效果必定是更加柔和平滑的，從控制圖也能看出其線條更少也更粗，并且通過筆觸表達(dá)出一定的透視關(guān)系，有點像粉筆畫的感覺，那就讓我們看看它的實際表現(xiàn)如何吧： 雖然細(xì)節(jié)表達(dá)上有輕微的損失，但整體效果還是令人滿意的，就連背景也得到了相當(dāng)程度的還原。實際應(yīng)用中，我們通常會根據(jù)參考圖和需求的不同，在canny、lineart和softedge中選擇一種或組合開啟多種來實現(xiàn)圖像輪廓控制。最后介紹一下邊緣檢測算法家族中最“叛逆”的成員——scribble/sketch（涂鴉/草圖）。聽名字就知道這哥們屬于張揚灑脫放蕩不羈的類型，控制圖的線條也是粗的嚇人，這大概就是所謂的神經(jīng)大條吧??，廢話不說直接看它表現(xiàn)： 嗯…雖說離經(jīng)叛道，整體效果倒也自成一體，當(dāng)然面部是我用ADetailer修復(fù)過的不然根本沒法看…等一下，后面這個詭異的人臉又是什么鬼??咳，總之這就是sketch，一個總會在不經(jīng)意間帶給你驚喜（或驚嚇）的小調(diào)皮。雖然可控性稍差，但卻具備豐富的創(chuàng)意和細(xì)節(jié)，草圖補完更是它的拿手絕活兒，某些軟件上的靈魂畫手功能就是通過它來實現(xiàn)的；如果運用得當(dāng)，有時候它還可以產(chǎn)生類似openpose的效果，下面就是分別由openpose（上）和sketch（下）生成的賽博朋克風(fēng)格圖像，你更喜歡哪個版本呢？ 邊緣檢測系列控件可以幫助我們很好的實現(xiàn)圖像輪廓控制，并且適用于任何內(nèi)容而非如openpose般僅作用于人體，但由于無法準(zhǔn)確判斷透視關(guān)系，在線條重合例如人物四肢交疊時有可能會產(chǎn)生誤讀。仔細(xì)觀察可以發(fā)現(xiàn)上圖中sketch生成的賽博朋克小姐姐腿部就出現(xiàn)了這種現(xiàn)象。為了避免這種錯誤，在面對要求精準(zhǔn)控制的成像任務(wù)時，我們通常會同步開啟其他類型的控件來加以輔助，例如normalmap（法線貼圖），經(jīng)常玩3D建模的朋友對它一定不陌生，這是一種通過法線為平面像素添加高度值，以實現(xiàn)在二維圖像上模擬三維空間關(guān)系的貼圖技術(shù)，應(yīng)用在controlnet中的實際效果如下： 實際上，相比normalmap，我們更多時候會使用另一個控件來提取透視關(guān)系，那就是depth（深度）。depth生成的控制圖很像我們在醫(yī)院拍的X光片，通過不同的灰度值給每個像素添加高度表達(dá)，為平面圖像賦予空間屬性，以便更好的處理透視和明暗關(guān)系。下面這張就是由depth生成的圖像： 除了復(fù)現(xiàn)圖像，depth還可以用來模擬浮雕效果、鏤空效果或生成立體藝術(shù)字；甚至有大神專門為它開發(fā)了一款名為depth-lib的插件，支持在任意圖片的任意部位導(dǎo)入任意深度圖形，以實現(xiàn)精準(zhǔn)構(gòu)圖和局部塑形；C站上更有熱心的道友發(fā)布了包含900種標(biāo)準(zhǔn)手部姿勢的深度圖合集，供大家重塑生圖時崩壞的手部。 除此之外，還有可以將圖像無損放大16倍的tile（分塊處理）控件，它的功能極其多樣化，既能快速放大圖像，也能在不改變圖像大小的情況下，根據(jù)提示詞為畫面添加細(xì)節(jié)，效果比許多同類的功能性LoRA更加出色： 我們還可以根據(jù)實際需求，選擇不同的預(yù)處理器，來實現(xiàn)色彩增強或背景模糊等效果，也能夠利用它對光源進行精準(zhǔn)控制，或者搭配特定的參數(shù)來制作最近流行的光影藝術(shù)字，幾乎可以說是一款萬能控件。 如果對畫布尺寸不滿意，還可以利用ControlNet里優(yōu)化版的局部重繪inpainting控件，在完全不改變原圖的前提下對畫面進行擴充： 熟悉平面設(shè)計的朋友是不是覺得似曾相識？沒錯這就是新版PS吹爆的內(nèi)容識別填充功能，SD打從問世就有而且做得更好。擴展填充在這里只是基礎(chǔ)，我們完全可以根據(jù)需求在改變畫布尺寸的同時對圖像內(nèi)容和藝術(shù)風(fēng)格做出調(diào)整： SD-webUI目前最多支持同時加載10個ControlNet子控件（默認(rèn)3個，可以在設(shè)置里更改）。實際創(chuàng)作中，我們需要的肯定不只是復(fù)現(xiàn)圖像，也不會僅僅依靠ControlNet完成所有工作，正如之前說過的，SD是由各個功能模塊共同構(gòu)成的復(fù)雜生態(tài)，ControlNet也不例外，只有合理搭配底模、LoRA、提示詞和其它各項參數(shù)，才能真正發(fā)揮它的作用。例如我們前面演示過的，利用openpose結(jié)合提示詞改變外部環(huán)境、人物著裝和面部表情： 或者選擇InstructP2P控件，結(jié)合提示詞和水墨寫意風(fēng)格的LoRA來改變藝術(shù)風(fēng)格： 再進一步，將ControlNet權(quán)重降低到0.8，介入時間設(shè)置為0.1-0.8來減弱控制強度，在可控范圍內(nèi)改變構(gòu)圖生成全新圖像： 還可以組合運用IP-Adapter和Reference控件，搭配適當(dāng)?shù)奶崾驹~，在保留人物特征的前提下改變構(gòu)圖和姿態(tài)： 假設(shè)原圖是一個游戲中的角色立繪，那我們剛剛生成的這些就是可以拿來賣錢的角色皮膚了，而葫蘆叔制作這些皮膚花費的平均時間大約是…5分鐘（含抽卡、優(yōu)化）。 相信看到這里，大家就能夠理解，為什么SD+ControlNet的組合能讓諸多游戲公司選擇裁撤原畫師或提高原畫工作強度…而這還遠(yuǎn)遠(yuǎn)不是全部，正如之前在<a href="http://www.xsjgww.com/4u4kjk50" target="_blank" style="background-color:rgb(255, 255, 255); font-size:18px;">第二課</a>里說過的，目前市面上許多以收費形式提供的所謂最新AI成像技術(shù)，其實不過是以API形式接入ControlNet的一些子模塊孫模塊或者其它免費開源的SD插件和AI工具罷了，比如剛才說過的線稿提取/線稿上色，使用的就是ControlNet_lineart或sketch： AI換裝/AI證件照/AI寫真/AI婚紗照：SD_LoRA/SD_roop AI二維碼:ControlNet_QR_code_monster 光影文字則是使用咱們剛才介紹過的tile或者ControlNet_brightness/illusion（圖放文末）、還有什么照片開口說話（SD_sad talker）、視頻轉(zhuǎn)逐幀動畫（SD_Ebsynth）……等等吧，這里就不一一列舉了。 總之，對于包括midjourney在內(nèi)的其它AI繪圖工具而言，掌握了文生圖的提示詞書寫方法并能夠熟練運用模型和風(fēng)格，就可以畢業(yè)了；可在Stable diffusion的世界里，學(xué)會這些只能算是邁出了第一步。但不管怎么說，都要恭喜屏幕前的各位小伙伴，完成了這個入門教程，也就意味著你已經(jīng)正式步入了AI法師的行列。送君千里終須一別，這篇已經(jīng)寫的太長，還有許多沒能涵蓋到的SD控件和功能，就留給大家自行探索吧。 結(jié)束之前說兩句題外話。之前把教程發(fā)了朋友圈，結(jié)果好多小伙伴以為吐司是我搞的，甚至還有跑來應(yīng)聘的(ー_ー)!! 只能說…謝謝各位瞧得起，選吐司做教程不過是因為它支持網(wǎng)頁瀏覽方便做鏈接罷了ヽ(‘ー`)ノ而且這孩子自打離開B站換了爹以后明顯有點飄，商業(yè)化小碎步邁的是一二三四有板有眼，模型不給下載不讓融合不能轉(zhuǎn)載要求署名…要不是考慮陣前換將不方便大伙兒學(xué)習(xí)，哼<(｀^′)> 話說回來，SD源碼是人家免費開源的現(xiàn)成東西，再怎么套殼也變不成自己的，第一波信息差紅利吃完之后，能拿來搞商業(yè)化運作的就只有原創(chuàng)插件和原創(chuàng)模型，部分功能和模型實行會員收費制確實是條可行的路子，甚至可能成為趨勢。所以還是那句話，有條件的小伙伴強烈建議學(xué)習(xí)本地部署webUI、comfyUI或者官方新出的SwarmUI，自己坐家里想怎么玩怎么玩誰也限制不了你，甚至還可以創(chuàng)收。沒條件的就趁現(xiàn)在行業(yè)草創(chuàng)資本拱火之際逮著羊毛使勁薅，哪家免費好用用哪家，至少短時間內(nèi)肯定是不需要花一毛錢就能玩到市面上流通的大多數(shù)SD模型。這里繼續(xù)附上秋葉老祖推薦的國內(nèi)AI繪圖工具，感興趣的小伙伴自己去搜索嘗試吧。 最后提個小小建議，希望各位道友在曬出自己的AI畫作供人欣賞贊嘆之余，也能在評論區(qū)里為那些對此產(chǎn)生興趣卻不得其門而入的朋友指點迷津，畢竟若是沒有分享精神，你我想要像今天這樣暢享AI成像樂趣怕只是癡人說夢。飲水思源，人家stability AI連SD源碼這樣的大殺器都毫無保留的分享出來了，咱也不能讓歪果仁看笑話不是┐( ￣??￣? )┌ 好啦，咱們的入門教程到這里就正式結(jié)束了，感謝小伙伴們的支持和關(guān)注，葫蘆叔也要抓緊時間煉丹去了，今后有什么好玩的還會在<a href="http://www.xsjgww.com/4uq78hh3" target="_blank" style="background-color:rgb(255, 255, 255); font-size:18px;">這篇資源匯總</a>里給大家更新的，大伙兒沒事就可以去看一眼。有模型煉制需求的，也歡迎找我合作（閑聊勿擾哦）。完結(jié)～撒花??????

跆拳道,波多野结衣结婚了吗,JAPANESE50MATURE亂倫,美女视频黄网站免费观看

AI繪畫入門（九）——終結(jié)篇：圖生圖與ControlNet

金剛葫蘆叔