使用機器學習為廣告生成有說服力的面孔

匹茲堡大學的研究人員最近開發(fā)了一種條件變分自動編碼器，可以為廣告制作獨特的面孔。他們的研究以他們以前的工作為基礎(chǔ)，探索了更好地理解廣告的自動化方法。

“在我們過去的項目中，我們想看看機器是否可以解碼廣告中發(fā)現(xiàn)的復(fù)雜的視覺修辭，”進行這項研究的研究人員之一Christopher Thomas告訴Tech Xplore。“廣告包含雙關(guān)語，隱喻和其他有說服力的修辭設(shè)備，這些都很難讓機器理解。在本文中，我們不僅想了解廣告，而且還希望了解這些有說服力的內(nèi)容是否可以由計算機自動生成。 “

廣告業(yè)的主要任務(wù)是使用有說服力的語言和圖像來宣傳產(chǎn)品或傳達想法。面孔是廣告的一個關(guān)鍵方面，通常根據(jù)所宣傳的產(chǎn)品和傳達的信息進行不同的描繪。

托馬斯與他的同事阿德里亞娜·科瓦什卡(Adriana Kovashka)合作，利用機器學習來產(chǎn)生有說服力的面孔，這些面孔適用于不同類型的廣告。他們使用條件變分自動編碼器，或“生成模型”，機器學習模型，學習生成類似于它訓(xùn)練的合成數(shù)據(jù)。

“在計算機視覺中，自動編碼器通過拍攝圖像并學習將圖像表示為少數(shù)數(shù)字來工作，”托馬斯說。“然后，模型的第二部分，即解碼器，學習如何獲取這些數(shù)字并從中再現(xiàn)原始圖像。您幾乎可以將其視為一種壓縮形式，其中大圖像由幾個數(shù)字表示。 “

當這種類型的機器學習模型在足夠大的數(shù)據(jù)集上訓(xùn)練時，它開始表示數(shù)字內(nèi)的語義方面。例如，在Thomas和Kovashka開發(fā)的模型中，一個數(shù)字可以控制面部的形狀，另一個數(shù)字可以控制皮膚的陰影，以及其他語義特征。

但是，如果研究人員希望該模型能夠捕獲一個人是否戴著眼鏡，但是訓(xùn)練數(shù)據(jù)集中沒有足夠的帶眼鏡的人的照片，那么在重建圖像時這個屬性就會丟失。因此，他們開發(fā)了一個條件自動編碼器，這意味著他們可以將其他數(shù)字添加到它沒有單獨獲取的模型中，表示可能與特定廣告相關(guān)的語義特征。

“這很酷的部分是，一旦我們訓(xùn)練模型代表100個數(shù)字的面孔，如果我們改變其中一些數(shù)字并”解碼“它們，我們就可以改變面貌，”托馬斯說。“因此，我們可以改變現(xiàn)有的面部，使它們看起來相同，但具有不同的屬性，例如眼鏡，微笑或不微笑等，只需改變我們的模型用來表示它們的一些數(shù)字。”

訓(xùn)練計算機視覺的生成模型可能是一項具有挑戰(zhàn)性的任務(wù)，需要大型圖像數(shù)據(jù)集，并且在對諸如廣告等非常多樣化的數(shù)據(jù)進行培訓(xùn)時經(jīng)常會失敗。Thomas和Kovashka通過使用需要較少數(shù)據(jù)的自動編碼器來克服這些限制，并且可以應(yīng)對廣告中發(fā)現(xiàn)的相當大的差異。

“盡管如此，因為沒有足夠的數(shù)據(jù)，它并不總能捕捉我們想要的概念，”托馬斯說。“因此，我們故意將語義注入其表示中，從而顯著改善了結(jié)果。”

他們的調(diào)查結(jié)果表明，未來廣告客戶將能夠制作針對個人客戶量身定制的定制廣告。例如，他們可以生成具有與觀看者的面部特征匹配的面部特征的面部，以便他們與主體識別更多。

“這種自動，細粒度的廣告定制可能對在線廣告商產(chǎn)生巨大影響，”托馬斯說。“此外，不希望為廣告投放額外模型或進行手動編輯的廣告客戶可以將現(xiàn)有面孔從其他廣告轉(zhuǎn)換為適合其廣告類型的面孔。”

研究人員現(xiàn)在正在探索如何改進生成的圖像，使其與使用大量數(shù)據(jù)生成的圖像質(zhì)量相匹配。要做到這一點，他們需要設(shè)計其他生成模型，這些模型在對高度變化和有限的數(shù)據(jù)進行培訓(xùn)時更加健壯。

“另一種可能的研究方向是生成除了面孔之外的其他物品，甚至生成有意義且有趣的整個廣告，”托馬斯說。“這需要開發(fā)新技術(shù)，在生成框架中對修辭結(jié)構(gòu)進行建模，并結(jié)合文本理解和生成。”