你好,歡迎進入江蘇優(yōu)軟數(shù)字科技有限公司官網(wǎng)!
發(fā)布時間:2024-08-04
瀏覽次數(shù):0
清華團隊開發(fā)了“四步畫圖”的LCM,早期內(nèi)容已經(jīng)介紹完畢。沒想到,很快,.AI在11月28日星期二正式上線了sdxl turbo模型。和LCM類似,變態(tài)的是號稱一步生成高清大圖。sdxl turbo模型現(xiàn)在可以在多個平臺上使用了。在這段視頻中,大狂將介紹使用draw平臺在MAC電腦上部署sdxl turbo的過程,一些操作技巧,以及我發(fā)現(xiàn)的一些好玩好用的模型,分享給大家。
點擊播放視頻
部署前你需要了解SDXL Turbo的一些基本特性,例如:模型不使用文字引導和負面提示詞,請將文字引導設置為0;生成的圖片有固定的分辨率(像素),非1024,模型無法達到完美的照片級真實感;模型無法呈現(xiàn)清晰的文字;一般情況下可能無法正確生成人臉和人物;本模型僅供研究使用,不得用于商業(yè)用途。
上面說了它的使用有很多限制,所以提前給大家一個心理預期吧。如果你生成的圖片變形怪異,不夠逼真,或者生成1024*1024沒有高清還原,而且圖片中有多個人物,多個頭或者多個手,遇到這些問題不要驚訝text sublime mac,因為這些都是SDXL Turbo的典型特性。這樣看來,它沒什么用。那么除了一步到位的繪制速度快,它還能干什么呢?也歡迎大家?guī)е@個疑問觀看下一篇教程。
(下圖是未經(jīng)過高清修復,用SDXL turbo生成的1024*1024圖像)
注:12 月 3 日,測試版已更新(但正式版仍未到來),內(nèi)置了新的支持 turbo 的多重采樣器和 SDXL turbo 模型,并且最小生成步驟數(shù)可設置為 1。本期的很多內(nèi)容不再那么麻煩。您也可以等待應用商店更新。如果您不想等待更新,可以按照以下說明進行嘗試。
第 1 部分:下載模型
目前draw作者正在積極開發(fā)更新turbo相關的模型和設置,截止本視頻發(fā)布,軟件還沒有內(nèi)置模型,所以需要去face官網(wǎng),點擊中間的文件和,到頁面最下方text sublime mac,有兩個文件,一般下載6.94GB,fp16版本就夠了,其他文件就不用了。
第 2 部分:導入 draw
打開軟件按照正常方法導入模型,點擊模型下拉菜單-點擊-選擇中間的導入模型,然后點擊- from File,選擇你下載的6.94GB sdxl turbo模型文件,圖片大小微調(diào)成512*512,其他選項不用選,然后導入自定義模型,稍等片刻,turbo模型就導入成功了。
(注:SDXL turbo官方給出的模型是512*512,但是目前已經(jīng)有幾種經(jīng)過微調(diào)的模型混合使用turbo,可以達到1024*1024)
這里補充一下,如果你用的是普通電腦,在模型管理界面,點擊最后的三個點,就可以創(chuàng)建8位模型了。這樣會大大減小模型體積,節(jié)省空間,繪制速度也會更快。實際生成的模型質(zhì)量不會有太大差別。我所有sdxl相關的模型都是8位的。創(chuàng)建一個8位模型大概需要20分鐘,請耐心等待。
第三部分
適當?shù)脑O置使 sdxl Turbo 模型有效
由于draw只內(nèi)置了這六個采樣器,所以這六個采樣器無法讓sdxl turbo跑出好畫面。(官方的turbo采樣器是euler a,不過好像有bug,12月3號beta版又添加了包括lcm在內(nèi)的幾個新采樣器,大家可以等待更新)
要使其在此軟件中工作,您需要使用 LCM 采樣器。這里有兩種方法。
第一種方法是簡單修改代碼,讓sdxl turbo默認使用lcm的采樣器,進入draw的model目錄,具體目錄的路徑我給你們了,你們按照順序找就可以了。
—————————
繪制模型目錄:/Users/你的用戶名///com..draw-/Data//
—————————
模型目錄下有個.json文件,可以用代碼編輯器相關的軟件打開,我用的是text,這個文件每個人的不一樣,需要仔細找到sdxl turbo模型的部分,比如我用的是8bit,在這一部分添加這段代碼,英文逗號別忘了,然后+S保存。編輯代碼的目的是為了讓sdxl Turbo默認使用LCM的采樣器,當我們再次打開軟件使用sdxl Turbo生成圖片的時候,可以看到采樣器默認是LCM,圖片按照提示字樣就能正常運行了;
第二種方法--不修改代碼,配合lcm sdxl lora,也可以讓其生效。主模型我們選擇sdxl turbo,lora中l(wèi)cm sdxl base。權重可以調(diào)整為0或者更低的百分比,因為我們只希望lora起到LCM 的作用,不需要它有其他的作用。畢竟SDXL Turbo和LCM lora是沖突的,所以就讓它的權重為0,只讓lora起到給主模型LCM 的作用。這個地方聽起來有點繞,多練習幾次才能知道這里的妙處。這樣,即使不修改代碼,也可以讓SDXL Turbo在draw中正常工作。通常我的8g內(nèi)存的m1 mac,4步就可以跑完一張Turbo圖片,不到10秒。
第四部分
如何將生成步驟數(shù)更改為 1 步
由于目前 Draw 的最低步數(shù)為 4,因此 sdxl turbo 1 步繪制的潛力無法充分發(fā)揮。(12 月 3 日上午內(nèi)測更新已將步數(shù)提升至 1,后續(xù)就不用這么麻煩了。)如果不想等待 app store 更新,可以按照下面的腳本操作。
12月3日,測試版已經(jīng)可以將步數(shù)增加到1
所以,這里我給大家介紹一種用腳本一步到位畫圖的方法。點擊軟件底部-預設-點擊管理腳本-點擊左下角的創(chuàng)建-粘貼我給你的代碼-隨便起個名字就叫“一步到位畫圖”。
—————————
腳本代碼:
常量 = {....};
.步驟 = 1;
。跑步({ });
—————————
step后面的數(shù)值可以自由修改,也就是兩步或者三步都可以。如果我們想一步繪制,直接在預設里點擊這個腳本就可以實現(xiàn)一步繪制??梢钥吹?,sdxl turbo一步繪制的效果也還不錯。不過很顯然,Turbo模型是一個為了速度而稍微犧牲質(zhì)量的模型,用它來快速構(gòu)圖,然后再用其他模型來畫圖,是一個不錯的搭配。
第五部分
如有侵權請聯(lián)系刪除!
Copyright ? 2023 江蘇優(yōu)軟數(shù)字科技有限公司 All Rights Reserved.正版sublime text、Codejock、IntelliJ IDEA、sketch、Mestrenova、DNAstar服務提供商
13262879759
微信二維碼