OPPO Reno5 Pro 5G智能手機(jī)上的FDF縱向視頻系統(tǒng)如何工作

視頻一直是我們生活中的重要組成部分，隨著智能手機(jī)變得越來越快，越來越智能，這些手持式通用設(shè)備可以潛在地取代您專用的數(shù)碼單反相機(jī)，傻瓜相機(jī)和傻瓜相機(jī)，甚至可以滿足您的攝影需求。

正如我們?cè)谥悄苁謾C(jī)成像部門所取得的進(jìn)步一樣，視頻通常在Android智能手機(jī)(甚至在旗艦手機(jī))上也被忽略。但是，近年來，各品牌最終意識(shí)到智能手機(jī)作為攝像機(jī)的重要性，并致力于改善整體攝影體驗(yàn)。

OPPO一直處于優(yōu)化智能手機(jī)攝像頭的最前沿，我們已經(jīng)看到了該品牌的一些有趣技術(shù)，例如RFB-ERSGAN神經(jīng)網(wǎng)絡(luò)，它可以將原始的低分辨率圖像升級(jí)為高分辨率圖像而又不丟失細(xì)節(jié)，甚至具有混合縮放技術(shù)。堆疊式潛望鏡變焦鏡頭結(jié)構(gòu)。

在即將到來的Reno5Pro 5G中，OPPO將使用其全新的全尺寸融合(FDF)人像視頻系統(tǒng)。這是一組在后工作的成像算法，用于優(yōu)化新設(shè)備上的視頻。在最近的一次簡(jiǎn)報(bào)中，OPPO解釋了該系統(tǒng)如何工作以及如何根據(jù)多個(gè)參數(shù)優(yōu)化視頻以實(shí)現(xiàn)最佳輸出。

因此，快速瀏覽一下OPPO Reno5Pro 5G上OPPO的FDF縱向視頻系統(tǒng)是如何工作的。本文并不旨在深入探討該系統(tǒng)。相反，它是您使用手機(jī)拍攝視頻時(shí)幕后發(fā)生情況的快速概述。

如上所述，OPPO的攝像頭系統(tǒng)是不同算法的集合，這些算法可以協(xié)同工作以優(yōu)化在OPPO Reno5Pro 5G上錄制的視頻。該系統(tǒng)由兩個(gè)主要引擎組成：

人像視頻系統(tǒng)

1.質(zhì)量增強(qiáng)引擎

顧名思義，質(zhì)量增強(qiáng)引擎通過許多不同的參數(shù)(例如亮度，動(dòng)態(tài)范圍和降噪)改善了視頻質(zhì)量。該引擎在后運(yùn)行，以提高所錄制視頻的整體質(zhì)量。

2.人像感知引擎

另一方面，人像感知引擎專注于場(chǎng)景識(shí)別。它在后工作，以識(shí)別場(chǎng)景中的人物并根據(jù)環(huán)境有效地優(yōu)化人物。該特定引擎還負(fù)責(zé)啟用視頻中的創(chuàng)意濾鏡，例如AI Color Portrait模式。

為了更好地理解它，此流程圖將為您快速概述系統(tǒng)的工作方式。

系統(tǒng)如何運(yùn)作

這兩個(gè)引擎一起工作以優(yōu)化Reno5Pro 5G上的視頻。每個(gè)引擎都有自己的一組優(yōu)化在后進(jìn)行處理?，F(xiàn)在讓我們快速看一下這些過程。

質(zhì)量增強(qiáng)引擎

質(zhì)量增強(qiáng)引擎由兩種AI算法架構(gòu)組成-AI Highlight Video和Ultra Steady 3.0。

AI Highlight Video

OPPO揭示了AI Highlight Video是其專有的算法架構(gòu)，該架構(gòu)結(jié)合了Ultra Night Video算法和Live HDR算法，以優(yōu)化視頻的亮度，色彩和清晰度，而不論其亮度如何。OPPO還指出，這是他們第一次能夠同時(shí)使用其Night和Live HDR算法。這意味著AI Highlight Video可在日光和弱光條件下工作，并且在前后攝像頭上均可用。您只需在相機(jī)用戶界面中按一個(gè)按鈕即可啟用此功能。

融合算法框架AI Highlight Video通過三個(gè)不同的參數(shù)優(yōu)化視頻。

AI自適應(yīng)亮度增強(qiáng)：該算法使用自適應(yīng)增益來控制曝光時(shí)間，以確保視頻中的圖像明亮但不會(huì)過度曝光。自適應(yīng)亮度增強(qiáng)

AI自適應(yīng)動(dòng)態(tài)范圍：自適應(yīng)動(dòng)態(tài)范圍使用動(dòng)態(tài)范圍轉(zhuǎn)換和電影色調(diào)映射(FTM)技術(shù)調(diào)整視頻中每個(gè)幀的動(dòng)態(tài)范圍。OPPO聲稱，此過程可將丟失的顏色，亮度和暗度恢復(fù)到圖像的自然水平。此過程還包括多幀HDR，以在整個(gè)視頻中實(shí)現(xiàn)更好的動(dòng)態(tài)范圍。自適應(yīng)動(dòng)態(tài)范圍2

AI自適應(yīng)降噪：此過程添加了幀間融合以降低時(shí)間噪聲(兩個(gè)幀之間)，并添加了幀內(nèi)融合(幀內(nèi))以降低空間噪聲。OPPO聲稱，此過程與其他常規(guī)降噪算法不同，它可以消除圖像的噪點(diǎn)而不消除必要的細(xì)節(jié)。

顯然，OPPO對(duì)其AI Highlight Video算法非常重視。實(shí)際上，該公司分享了一些有關(guān)如何改善智能手機(jī)上攝像頭的整體質(zhì)量和性能的關(guān)鍵數(shù)據(jù)。

OPPO透露，與常規(guī)視頻模式相比，AI Highlight視頻將夜間視頻的亮度提高了74.4%，清晰度為33.7%。Reno5Pro 5G只需20毫秒即可完成整個(gè)過程，而功耗也比其前代產(chǎn)品降低了40%。

Ultra Steady 3.0

OPPO的質(zhì)量增強(qiáng)引擎還依賴于其新一代Ultra Steady 3.0技術(shù)，該技術(shù)可為跑步，跳躍甚至極限運(yùn)動(dòng)等各種場(chǎng)景提供穩(wěn)定技術(shù)。

接下來是肖像感知引擎。你們中的許多人可能已經(jīng)熟悉此引擎。這組算法負(fù)責(zé)啟用以肖像為中心的功能，例如酷炫的AI Color Portrait視頻，而與人的背景或狀態(tài)無關(guān)。

人像感知引擎

拍攝視頻時(shí)，Portrait Perception Engine將經(jīng)歷三個(gè)典型過程。

場(chǎng)景設(shè)計(jì)經(jīng)理：第一步是定義肖像場(chǎng)景并處理其所需的條件。使用OPPO自己的數(shù)據(jù)庫，其中包含超過1000萬個(gè)數(shù)據(jù)，場(chǎng)景設(shè)計(jì)管理器可以分析不同場(chǎng)景下的真實(shí)人像場(chǎng)景，并根據(jù)一組固定參數(shù)對(duì)視頻進(jìn)行所需的調(diào)整。這是引擎準(zhǔn)備視頻進(jìn)行進(jìn)一步處理的第一階段。

AI建模：一旦對(duì)場(chǎng)景進(jìn)行評(píng)估，AI模型和深度神經(jīng)網(wǎng)絡(luò)便開始發(fā)揮作用，從本質(zhì)上將肖像與背景分離開來。這是OPPO肖像視頻處理中非常重要的部分。為了提高識(shí)別人像的AI模型的速度和準(zhǔn)確性，該公司正在使用自己的數(shù)據(jù)庫來訓(xùn)練SOTA AI模型。它有助于進(jìn)一步壓縮這些模型，使其適合于智能手機(jī)等較小的設(shè)備。OPPO聲稱，整個(gè)人像識(shí)別過程可以在不到一毫秒的時(shí)間內(nèi)完成，這對(duì)于實(shí)現(xiàn)無縫且即時(shí)的攝影體驗(yàn)極為重要。

人像處理：當(dāng)您查看現(xiàn)實(shí)應(yīng)用時(shí)，人像感知引擎構(gòu)成了OPPO FDF人像視頻系統(tǒng)的基礎(chǔ)。最終的肖像處理算法從三個(gè)方面優(yōu)化了視頻：

1.面部?jī)?yōu)化

2.運(yùn)動(dòng)跟蹤

3.實(shí)例分割

借助包括肖像識(shí)別和肖像處理在內(nèi)的肖像感知引擎，OPPO帶有FDF肖像視頻系統(tǒng)的智能手機(jī)可以：

即使被攝對(duì)象是側(cè)面照相機(jī)或部分被遮擋，也可以準(zhǔn)確識(shí)別每個(gè)人及其臉部的特征。

將AI高光視頻優(yōu)化(例如顏色，亮度或?qū)Ρ榷日{(diào)整)應(yīng)用于肖像。

為圖像中的每個(gè)主題添加個(gè)性化優(yōu)化(實(shí)例分割)

為肖像添加特殊功能，例如AI Color Portrait

很明顯，OPPO相信視頻將在未來幾年中成為智能手機(jī)的重要組成部分。該公司的FDF縱向視頻系統(tǒng)只是在視頻方面向用戶提供更多內(nèi)容的又一努力。

該公司透露，截至2020年9月，它已在全球范圍內(nèi)申請(qǐng)了7,300項(xiàng)與成像相關(guān)的專利，其中2,350項(xiàng)已獲授權(quán)。

OPPO Reno5 Pro 5G是配備其新型FDF縱向視頻系統(tǒng)的最新型號(hào)。該手機(jī)將于1月18日在推出，因此我們很快就會(huì)知道這款新引擎為視頻體驗(yàn)帶來了多大的改變。