亚州av综合色区无码一区,午夜一区二区三区亚洲影院电影网,天堂а√在线地址,性人久久网av,无码内射成人免费喷射

曉木蟲
學(xué)術(shù)數(shù)據(jù)庫客戶端

雙路徑對抗生成網(wǎng)絡(luò)實現(xiàn)根據(jù)側(cè)臉生成正面人臉

 找回密碼
 注冊新賬號

QQ登录

微信登录

雙路徑對抗生成網(wǎng)絡(luò)實現(xiàn)根據(jù)側(cè)臉生成正面人臉

摘要: 　　近期，中國科學(xué)院自動化學(xué)習(xí)所智能感知與計算學(xué)習(xí)中心和南昌大學(xué)合作進(jìn)行了一項學(xué)習(xí)，提出了一個像人類一樣能夠考慮整體和部分信息的雙路徑對抗生成網(wǎng)絡(luò)，可以用于從單一側(cè)面照片合成高清晰的正面人臉圖像。通過 ...

　　近期，中國科學(xué)院自動化學(xué)習(xí)所智能感知與計算學(xué)習(xí)中心和南昌大學(xué)合作進(jìn)行了一項學(xué)習(xí)，提出了一個像人類一樣能夠考慮整體和部分信息的雙路徑對抗生成網(wǎng)絡(luò)，可以用于從單一側(cè)面照片合成高清晰的正面人臉圖像。通過該方法合成的人臉圖像能夠很好地保留身份特征，并且可以處理大量不同姿勢和光照的照片。
　　由于側(cè)面人臉視圖只含有正面人臉視圖的一局部信息，因此，根據(jù)側(cè)面人臉合成正面人臉在數(shù)學(xué)上是一個病態(tài)問題，一直是計算機視覺領(lǐng)域的一個難題�，F(xiàn)在，學(xué)習(xí)人員受人類視覺認(rèn)知過程（全局拓?fù)鋬?yōu)先，陳霖院士，1982）啟發(fā)，結(jié)合深度研究前沿對抗生成網(wǎng)絡(luò)（GAN）理論，提出了一個全局和部分感知的雙路徑GAN（TP-GAN），能夠在關(guān)注整體拓?fù)浣Y(jié)構(gòu)的同時，處理人臉面部細(xì)節(jié)，在不同的角度、光照條件下都取得了很好的結(jié)果。不僅如此，這種方法還能夠處理大量不同姿勢的照片，為深度研究和強化研究提供大量訓(xùn)練樣本。此項工作的學(xué)習(xí)為解決這類病態(tài)數(shù)學(xué)問題提供了新的解決思路。
　　此項工作的主要貢獻(xiàn)在于三個方面：
　　1）提出了一個像人類一樣能夠考慮整體和部分信息的對抗生成網(wǎng)絡(luò)結(jié)構(gòu)，能夠根據(jù)單一的側(cè)臉圖像合成正面人臉視圖，合成的視圖非常逼真且很好地保留了身份特征。
　　2）為了應(yīng)對從三維物體投射到二維圖像空間時固有的信息缺失問題，將從數(shù)據(jù)分布（對抗訓(xùn)練）得來的先驗知識和人臉領(lǐng)域知識（對稱性、身份保留損失）結(jié)合起來，把缺失信息精確地恢復(fù)了出來。
　　3）展示了“通過生成進(jìn)行識別”（recognition via generation）框架的可能性，并且在大量不同姿勢下，特別是在極端角度的側(cè)臉圖像中，取得了目前最好的人臉識別結(jié)果，推動了對抗生成網(wǎng)絡(luò)在實際視覺問題中的應(yīng)用。
　　目前，雖然在人臉識別問題上，計算視覺算法已經(jīng)在多個基準(zhǔn)數(shù)據(jù)集上超越了人類，但真實應(yīng)用場景中，對于不同姿勢的識別問題仍然沒有得到很好的解決。當(dāng)人類在進(jìn)行視覺合成的時候，人們首先是通過觀察到的側(cè)臉，在以往的經(jīng)驗和知識基礎(chǔ)上，推測出整張臉的結(jié)構(gòu)（或草圖）。然后，人們會將注意力轉(zhuǎn)向臉部的細(xì)節(jié)，比如眼睛、鼻子、嘴唇，并將這些細(xì)節(jié)精確地描繪在剛才那張草圖上。
　　受此啟發(fā)，學(xué)習(xí)人員提出了一個有兩條路徑的深度架構(gòu)（TP-GAN），用于正面人臉圖像合成。這兩條路徑，一條專注于推理全局拓?fù)浣Y(jié)構(gòu)，另一條則推理部分的紋理，分別得到兩組特征圖。這兩組特征圖融合在一起，用于接下來的最終合成。
　　不僅如此，學(xué)習(xí)人員還將正面人臉分布的信息通過生成對抗網(wǎng)絡(luò)框架引入，由此對恢復(fù)過程進(jìn)行了很好的約束，確保生成的人臉圖像真實自然。并且還根據(jù)人臉是對稱結(jié)構(gòu)這一特點，提出了一個對稱性損失函數(shù)（symmetry loss），用于補全被遮擋住的局部。
　　為了忠實地保留臉部最突出的特征，除了像素級別的L1損失函數(shù)，學(xué)習(xí)人員還通過預(yù)訓(xùn)練的人臉特征提取網(wǎng)絡(luò)，在壓縮特征空間中使用了一個身份保留損失函數(shù)（identity preserving loss），有效地在高級特征層面對生成過程進(jìn)行指導(dǎo)。在實現(xiàn)逼真、高清晰的正面臉部合成的同時，顯著提升了人臉識別的準(zhǔn)確率。



　　TP-GAN總結(jié)構(gòu)示意圖。生成器包含兩條路徑，一個處理全局結(jié)構(gòu)生成，另一個處理部分細(xì)節(jié)生成。判別器同時在合成的人臉正面（SF）視圖圖像和真實側(cè)面圖像（GT）上訓(xùn)練。



　　TP-GAN合成效果圖。每組圖左側(cè)為90度，75度，45度的真實側(cè)面圖像（輸入），右側(cè)為生成的相應(yīng)身份的人臉正面視圖圖像。



　　困難場景。左側(cè)兩列圖展示了TP-GAN將面部特征，包括胡須、眼鏡，都保留了下來。最右列圖展示了TP-GAN成功地將遮擋的前額和臉頰局部恢復(fù)了出來。雙路徑對抗生成網(wǎng)絡(luò)實現(xiàn)根據(jù)側(cè)臉生成正面人臉  |  責(zé)任編輯：蟲子
返回頂部