英偉達(dá)的研究人員提高了繪畫圖像的標(biāo)準(zhǔn)

對于那些還不熟悉照片重建工具的人來說，這篇關(guān)于ar Xiv的論文的標(biāo)題可能完全令人費解：“使用部分卷積對不規(guī)則孔進(jìn)行圖像修復(fù)?！比欢?，這項來自NVIDIA團(tuán)隊的研究為那些必須進(jìn)行圖像編輯并希望取得好結(jié)果的人指出了令人興奮的改進(jìn)方法。

圖像修補就是在圖像中填充孔。它可以用來取出不需要的圖像內(nèi)容，同時在空間中填充可信的圖像?；氐剿麄冋撐牡臉?biāo)題，小組探索了他們采取的一個改進(jìn)的過程，可以在照片編輯軟件中實現(xiàn)。

在NVIDIA開發(fā)人員新聞中心，對他們的研究進(jìn)行了概述。他們想出了一種方法，用來（1）編輯圖像或（2）重建損壞的圖像，一個有洞或缺少像素的圖像。當(dāng)他們說“編輯”時，包括刪除內(nèi)容和填充洞。

視頻清楚地顯示了這是多么有趣，展示了一組照片之前和之后的鱈魚處理開始。一個場景是室外的巖石，另一個場景是室內(nèi)的圖書館。還有一組展示了人類的臉，包括一個女人，年輕的男性和一個年長的男人。

他們的工作是什么？

由劉貴林領(lǐng)導(dǎo)的NVIDIA研究人員介紹了一種最先進(jìn)的深度學(xué)習(xí)方法，它可以編輯圖像或重建損壞的圖像，一種有洞或缺少像素的圖像。該方法還可以通過刪除內(nèi)容和填充產(chǎn)生的孔來編輯圖像。這是根據(jù)視頻筆記。

起作用的是兩個階段，訓(xùn)練階段和測試階段。

據(jù)新聞中心報道，為了準(zhǔn)備訓(xùn)練他們的神經(jīng)網(wǎng)絡(luò)，該小組首先制作了隨機條紋和任意形狀和大小的洞的面具來訓(xùn)練。根據(jù)相對于輸入圖像的大小來設(shè)計類別，以提高重建精度。神經(jīng)網(wǎng)絡(luò)訓(xùn)練包括從Image Net、Places2和Celeba-HQ數(shù)據(jù)集生成的圖像掩碼。

”在訓(xùn)練階段，從上述數(shù)據(jù)集將漏洞或缺失部分引入完整的訓(xùn)練圖像，使網(wǎng)絡(luò)能夠?qū)W習(xí)重建缺失的像素。在測試階段，在數(shù)據(jù)集中的測試圖像中引入不同的孔或缺失部分，而不是在訓(xùn)練期間應(yīng)用，以便對重建精度進(jìn)行無偏的驗證。

為什么他們的工作突出：“據(jù)我們所知，我們是第一個證明深度學(xué)習(xí)圖像繪制模型對不規(guī)則形狀的孔的有效性?！?/p>

研究人員意識到了現(xiàn)有的基于深度學(xué)習(xí)的圖像修復(fù)方法。這些都是使用“標(biāo)準(zhǔn)卷積網(wǎng)絡(luò)對損壞的圖像，使用卷積濾波器響應(yīng)的條件是有效像素以及替代值在掩蔽孔（通常是平均值）。他們說，“這往往會導(dǎo)致諸如顏色差異和模糊等人工制品?！焙筇幚硗ǔＳ糜跍p少此類工件，但價格昂貴，可能會失敗。

他們說，他們提出了部分卷積-通過“卷積被掩蔽和重新歸一化，只以有效像素為條件”。

他們與其他方法進(jìn)行了定性和定量比較，以驗證其方法，并指出，他們的模型“優(yōu)于其他不規(guī)則面具的方法”。

本文的作者是劉桂林、雷達(dá)、施凱文、王廷春、陶安德和卡坦扎羅。

進(jìn)一步探索

現(xiàn)有的基于深度學(xué)習(xí)的圖像修復(fù)方法在損壞的圖像上使用標(biāo)準(zhǔn)的卷積網(wǎng)絡(luò)，使用基于有效像素以及掩蔽孔中的替代值（通常是平均值）的卷積濾波器響應(yīng)。這往往導(dǎo)致偽影，如顏色差異和模糊。后處理通常用于減少此類工件，但價格昂貴，可能會失敗。我們建議使用部分卷積，其中卷積被屏蔽和重整化，僅以有效像素為條件。我們進(jìn)一步包括一種機制，作為前傳的一部分，為下一層自動生成更新的掩碼。我們的模型優(yōu)于其他方法的不規(guī)則面具。我們展示了定性和定量比較與其他方法，以驗證我們的方法。