登入
麒麟990 5G晶片 華為P40系列的影像實力之源
2020-04-23
分享至
麒麟990 5G晶片
華為P40系列的影像實力之源
麒麟990 5G超強晶片加持，為華為P40帶來超感知影像
醉翁之意不在酒，華為P40系列的影像實力源於何處？
用手機去拍攝一部電影其實並不是什麼剛剛出現的新鮮事，但華為P40系列在全球市場上正式發佈後，該產品卻揭開了移動通信設備在影像拍攝應用領域的新篇章，業內公認的權威——DxOMark官方公佈的排行成績已經表明了事實。更為明顯的是，華為P40 Pro在榜單上甩開競爭對手達4分之多，這也從側面旁敲了華為P40系列在成像上的先進性已經領先了同期競品。
DxOMark測評嚴苛程度有目共睹，其既往排名也清晰的反映了一款產品想要拿到一分的提升，至少要拿出十分的硬體成本和技術積累，這對於一個體積有限的移動設備來說談何容易？當分差擴大到4分時，這種優勢已然上升到了代差範疇。
那麼，到底是什麼讓華為P40系列能夠以手機的名義同時扮演專業影像拍攝設備的角色？鏡頭？圖元感測器？優良的器件自然必不可少，但背後還有一個關鍵的因素不能被忽視，那就是麒麟990 5G晶片。
NPU性能成為新時代影像能力的殺手鐧
2019年9月，麒麟990 5G正式現身。當我們在為5G通信網路能夠帶來變革而雀躍的時候，集成了103億電晶體的麒麟990 5G一系列的新特性就令其顯得格外耀眼，因為它是當時全球首款集成了5G基帶的旗艦SoC，同時也是首款正式投放市場的7nm+ EUV晶片。而彼時高通依舊處在外掛基帶階段，整體的制程工藝、晶片尺寸以及功耗都明顯身處下風。要知道，晶片推陳出新的意義並不僅限於帶來更快的運行速度，更在於能夠在任何應用場景下都要具備更高的可靠性，讓用戶獲得更優秀的體驗。如果以這個角度來看麒麟990 5G，其優勢反而比想像中要多的多。
常規化的性能提升似乎還不能夠支撐麒麟990 5G在影像技術的躍進，這時候晶片內置的NPU和ISP就顯得格外重要了。
其實早在2017年，麒麟970曾率先於業內，將獨立NPU神經網路處理單元置於其中，擺脫了AI計算依賴CPU與GPU的局面。麒麟990 5G所擁有的NPU不僅算力遠遠高於後兩者，並且相比目前業內旗艦級AI晶片同樣具備高達8倍的性能優勢和6倍的能效優勢。
麒麟990 5G集成了與昇騰（Ascend）專業AI場景計算晶片相同的NPU，其採用自研的華為達芬奇架構，內置雙大核（Ascend Lite）+微核（Ascend Tiny）三核心，設計出發點與CPU一樣兼顧性能與能效，在人臉識別的應用場景下，微核比大核能效最高可提升24倍，具有更明顯的節能效果。實際表現上，麒麟990 5G在中載神經網路模型ResNet50和輕載神經網路模型MobilenetV1中，性能和能效均摘得業內榜首，成為最高紀錄創造者，同時優異的性能和能效表現也讓先前受限於功耗和算力的應用場景得以實現。
在這樣的AI條件加持下，華為P40系列實現了多人即時換背景功能，AI路人移除和AI反光消除功能正是得益於此。通過先進的AI多實例分割技術，麒麟990 5G能夠將視頻畫面中的每一個人物主體單獨識別出來，實現多人物視頻拍攝替換背景，甚至可以選擇畫面中需要保留的人物，讓視頻應用充滿更多想像。並且，AI視頻超分能夠基於麒麟990 5G的AI智慧能力，還早先老舊設備拍攝的視頻畫質畫面瞬間提升到高清質感。這也就不難解釋，為什麼華為P40系列並不需要堆砌圖元來實現更高的畫面解析效果了。
按照常規的認知，AI性能與演算法的結合最適宜於人像拍攝場景下的多維優化。借助于3D景深感知鏡頭，麒麟990 5G可以説明華為P40系列精准獲悉人像在景深成像時的資訊，準確辨別髮絲、衣角等細微部分與背景之間的無關性，並細化分離，呈現專業單反級的景深效果而不會有任何摳圖的痕跡。這一表現並不局限於靜態圖像，同樣在視頻拍攝中，麒麟990 5G的NPU照樣可以提供即時的景深感知和演算。
在夜景環境下，各種複雜的光源往往會成為拍攝出完美人像的障礙。但借助麒麟990 5G的AI算力，華為P40系列手機結合多光譜色溫感測器和AI自動白平衡演算法，在提供細膩生動和立體感的面部成像同時，能夠輕鬆的將人臉膚色準確還原。這意味著攝影師不用必需建立合格布光條件，就能實現良好視覺效果。
事實上，NPU對於影像成像影響遠遠超過我們的認知，即便是涉及防抖性能，華為P40系列同樣可以借助麒麟990 5G的AI算力來完成。最典型的就是華為P40系列的超長焦拍攝，如果在沒有三腳架的條件下，想要用長焦端拍攝出穩定的畫面一向是一件很困難的事情，但在AI驅動的智慧穩定增強系統幫輔下和軟硬體之間的精密契合下，華為P40長焦拍攝的防抖性能表現的非常出色，即便是百倍長焦的條件下，也可以拍出令人滿意的畫面穩定效果。
-Slovenia-Low%20Light.jpg)
全新ISP讓手機拍攝的種種不可能變為可能
除了NPU能夠在拍攝時起到主動的智慧輔助作用外，麒麟990 5G的全新ISP 5.0也是其成像處理關鍵所在，它不僅對成像效率起到至關重要的作用，同時對於成像優化具有積極意義，尤其在視頻降噪輸出表現方面，ISP 5.0可謂成果斐然。
在夜晚、光線較弱的暗光環境下，ISP的性能決定了視頻拍攝時噪點對於成像品質的影響。而噪點按照其類型又可分為兩類，一種名為時域雜訊，是前後幀畫面播放隨時間變化產生的雜訊，而另一種則為空域雜訊，是每一幀視頻畫面原本存在的固有雜訊。目前，業界在視頻降噪方面大多採用單一的時域降噪，主要消除時間維度帶來的雜訊。不過，麒麟990 5G的技術出發點顯然要高得多，其採用了全球首發雙域聯合視頻降噪技術，針對視頻中的高頻、中頻、低頻雜訊混合的場景，增加頻域降噪過程，重點針對雜訊進行精准分離處理，視頻降噪能力提升20%，暗光環境下拍攝的視頻更加清晰。
在靜態圖像的拍攝上，麒麟990 5G晶片獨有BM3D（Block-Matching and 3D filtering）單反級硬體降噪技術，首次將單反級的影像處理能力應用在手機上，能夠為照片提供30%的降噪提升，從而讓照片在暗光環境中噪點更少，呈現出更優秀的夜景效果。
正是ISP 5.0這種獨特能力，讓麒麟990 5G率先實現了基於手機晶片的AI分割即時視頻後處理渲染技術，這種技術不僅能夠對於降噪有著顯著效果，同時還可以對每一幀視頻畫面色彩精心調色，讓手機視頻也能擁有電影級的調色質感。
基於ISP 5.0的能力，麒麟990 5G加入了對Face AR功能的全新支援。它可以通過從鏡頭捕獲的人臉圖像資料和基於NPU運行的神經網路演算法對面部進行建模、即時跟蹤和表情捕獲，並且可以進一步分析出人臉資訊背後所隱藏的心率、呼吸率等健康資料，提供圍繞人臉的AR體驗，帶來探索AR應用的更多可能。
總體來看，麒麟990 5G的ISP Pipeline影像處理通路通過整合自研感光和處理演算法、神經網路Demosaic演算法（CNN-DM）與全新的色彩和亮度演算法管理模組，利用ISP 5.0和華為達芬奇架構NPU組成端到端的影像系統，實現最高ISO 409600照片感光度，並極大的抑制高ISO下的噪點，實現手機影像的高還原解析能力。顯然，依託于麒麟990 5G在NPU和ISP上的出色表現，華為在影像領域的多年積累進而也有了充分施展的餘地，得以將AI算力和演算法深入應用於影像處理中。
在華為P40系列產品中，上面提到的專為成像能力而形成一系列演算法也有一個名字，就是“XD Fusion圖像引擎”。用一句話來概括，XD Fusion圖像引擎可以稱之為華為P40系列面對AI智慧攝影時代所做出的一次前瞻性探索，這項技術依託于麒麟990 5G晶片，將ISP 5.0的BM3D單反級硬體降噪技術、時域+空域雙域視頻降噪技術與華為達芬奇架構NPU的卓越性能融為一體，進而借由先進的鏡頭模組和全新圖元感測器將手機的影像能力推升到空前的高度。
高成本創新自研積累後的必然結果
反觀華為在AI和視覺計算領域的持續探索正是其他行業品牌不願深入的行為，這其中最大的原因莫過於無底洞的投入和短期內難以獲得回報。單看華為在精彩瞬間功能的建立便是一個驚人的投入，其大量的人體關鍵骨骼特徵點識別分析需要模型的搭建，而後根據不同的動作狀態再組成供機器學習參照的訓練圖集，而僅訓練圖集一項，華為AI部門一年就要為此付出數百萬美元的投入。可見，麒麟990 5G晶片能夠獲得在AI算力的絕對領先，以及華為P40系列上升到影像生產工具的這一地位並非是一蹴而就，而是腳踏實地、辛苦耕耘的結果。
值得一提的是，華為P40系列帶來的卓越影像水準也更好的完成了當下5G時代與流媒體應用場景的契合。5G時代動態化社交形式的到來意味著需要的高品質的影像功能，而華為P40正是為這一需求提供了強勁助力。
儘管麒麟990 5G晶片成名於5G，但是在中國已然率先步入5G常態化的背景下，華為P40系列卻用影像能力再度詮釋了麒麟990 5G強悍的另外一面，進一步體現出中國晶片的創新能力，以及未來引領全球的技術潛質。
回新知探索
2020-04-23
分享至
麒麟990 5G晶片
華為P40系列的影像實力之源
麒麟990 5G超強晶片加持，為華為P40帶來超感知影像
醉翁之意不在酒，華為P40系列的影像實力源於何處？
用手機去拍攝一部電影其實並不是什麼剛剛出現的新鮮事，但華為P40系列在全球市場上正式發佈後，該產品卻揭開了移動通信設備在影像拍攝應用領域的新篇章，業內公認的權威——DxOMark官方公佈的排行成績已經表明了事實。更為明顯的是，華為P40 Pro在榜單上甩開競爭對手達4分之多，這也從側面旁敲了華為P40系列在成像上的先進性已經領先了同期競品。
DxOMark測評嚴苛程度有目共睹，其既往排名也清晰的反映了一款產品想要拿到一分的提升，至少要拿出十分的硬體成本和技術積累，這對於一個體積有限的移動設備來說談何容易？當分差擴大到4分時，這種優勢已然上升到了代差範疇。
那麼，到底是什麼讓華為P40系列能夠以手機的名義同時扮演專業影像拍攝設備的角色？鏡頭？圖元感測器？優良的器件自然必不可少，但背後還有一個關鍵的因素不能被忽視，那就是麒麟990 5G晶片。
NPU性能成為新時代影像能力的殺手鐧
2019年9月，麒麟990 5G正式現身。當我們在為5G通信網路能夠帶來變革而雀躍的時候，集成了103億電晶體的麒麟990 5G一系列的新特性就令其顯得格外耀眼，因為它是當時全球首款集成了5G基帶的旗艦SoC，同時也是首款正式投放市場的7nm+ EUV晶片。而彼時高通依舊處在外掛基帶階段，整體的制程工藝、晶片尺寸以及功耗都明顯身處下風。要知道，晶片推陳出新的意義並不僅限於帶來更快的運行速度，更在於能夠在任何應用場景下都要具備更高的可靠性，讓用戶獲得更優秀的體驗。如果以這個角度來看麒麟990 5G，其優勢反而比想像中要多的多。
常規化的性能提升似乎還不能夠支撐麒麟990 5G在影像技術的躍進，這時候晶片內置的NPU和ISP就顯得格外重要了。
其實早在2017年，麒麟970曾率先於業內，將獨立NPU神經網路處理單元置於其中，擺脫了AI計算依賴CPU與GPU的局面。麒麟990 5G所擁有的NPU不僅算力遠遠高於後兩者，並且相比目前業內旗艦級AI晶片同樣具備高達8倍的性能優勢和6倍的能效優勢。
麒麟990 5G集成了與昇騰（Ascend）專業AI場景計算晶片相同的NPU，其採用自研的華為達芬奇架構，內置雙大核（Ascend Lite）+微核（Ascend Tiny）三核心，設計出發點與CPU一樣兼顧性能與能效，在人臉識別的應用場景下，微核比大核能效最高可提升24倍，具有更明顯的節能效果。實際表現上，麒麟990 5G在中載神經網路模型ResNet50和輕載神經網路模型MobilenetV1中，性能和能效均摘得業內榜首，成為最高紀錄創造者，同時優異的性能和能效表現也讓先前受限於功耗和算力的應用場景得以實現。
在這樣的AI條件加持下，華為P40系列實現了多人即時換背景功能，AI路人移除和AI反光消除功能正是得益於此。通過先進的AI多實例分割技術，麒麟990 5G能夠將視頻畫面中的每一個人物主體單獨識別出來，實現多人物視頻拍攝替換背景，甚至可以選擇畫面中需要保留的人物，讓視頻應用充滿更多想像。並且，AI視頻超分能夠基於麒麟990 5G的AI智慧能力，還早先老舊設備拍攝的視頻畫質畫面瞬間提升到高清質感。這也就不難解釋，為什麼華為P40系列並不需要堆砌圖元來實現更高的畫面解析效果了。
按照常規的認知，AI性能與演算法的結合最適宜於人像拍攝場景下的多維優化。借助于3D景深感知鏡頭，麒麟990 5G可以説明華為P40系列精准獲悉人像在景深成像時的資訊，準確辨別髮絲、衣角等細微部分與背景之間的無關性，並細化分離，呈現專業單反級的景深效果而不會有任何摳圖的痕跡。這一表現並不局限於靜態圖像，同樣在視頻拍攝中，麒麟990 5G的NPU照樣可以提供即時的景深感知和演算。
在夜景環境下，各種複雜的光源往往會成為拍攝出完美人像的障礙。但借助麒麟990 5G的AI算力，華為P40系列手機結合多光譜色溫感測器和AI自動白平衡演算法，在提供細膩生動和立體感的面部成像同時，能夠輕鬆的將人臉膚色準確還原。這意味著攝影師不用必需建立合格布光條件，就能實現良好視覺效果。
事實上，NPU對於影像成像影響遠遠超過我們的認知，即便是涉及防抖性能，華為P40系列同樣可以借助麒麟990 5G的AI算力來完成。最典型的就是華為P40系列的超長焦拍攝，如果在沒有三腳架的條件下，想要用長焦端拍攝出穩定的畫面一向是一件很困難的事情，但在AI驅動的智慧穩定增強系統幫輔下和軟硬體之間的精密契合下，華為P40長焦拍攝的防抖性能表現的非常出色，即便是百倍長焦的條件下，也可以拍出令人滿意的畫面穩定效果。
全新ISP讓手機拍攝的種種不可能變為可能
除了NPU能夠在拍攝時起到主動的智慧輔助作用外，麒麟990 5G的全新ISP 5.0也是其成像處理關鍵所在，它不僅對成像效率起到至關重要的作用，同時對於成像優化具有積極意義，尤其在視頻降噪輸出表現方面，ISP 5.0可謂成果斐然。
在夜晚、光線較弱的暗光環境下，ISP的性能決定了視頻拍攝時噪點對於成像品質的影響。而噪點按照其類型又可分為兩類，一種名為時域雜訊，是前後幀畫面播放隨時間變化產生的雜訊，而另一種則為空域雜訊，是每一幀視頻畫面原本存在的固有雜訊。目前，業界在視頻降噪方面大多採用單一的時域降噪，主要消除時間維度帶來的雜訊。不過，麒麟990 5G的技術出發點顯然要高得多，其採用了全球首發雙域聯合視頻降噪技術，針對視頻中的高頻、中頻、低頻雜訊混合的場景，增加頻域降噪過程，重點針對雜訊進行精准分離處理，視頻降噪能力提升20%，暗光環境下拍攝的視頻更加清晰。
在靜態圖像的拍攝上，麒麟990 5G晶片獨有BM3D（Block-Matching and 3D filtering）單反級硬體降噪技術，首次將單反級的影像處理能力應用在手機上，能夠為照片提供30%的降噪提升，從而讓照片在暗光環境中噪點更少，呈現出更優秀的夜景效果。
正是ISP 5.0這種獨特能力，讓麒麟990 5G率先實現了基於手機晶片的AI分割即時視頻後處理渲染技術，這種技術不僅能夠對於降噪有著顯著效果，同時還可以對每一幀視頻畫面色彩精心調色，讓手機視頻也能擁有電影級的調色質感。
基於ISP 5.0的能力，麒麟990 5G加入了對Face AR功能的全新支援。它可以通過從鏡頭捕獲的人臉圖像資料和基於NPU運行的神經網路演算法對面部進行建模、即時跟蹤和表情捕獲，並且可以進一步分析出人臉資訊背後所隱藏的心率、呼吸率等健康資料，提供圍繞人臉的AR體驗，帶來探索AR應用的更多可能。
總體來看，麒麟990 5G的ISP Pipeline影像處理通路通過整合自研感光和處理演算法、神經網路Demosaic演算法（CNN-DM）與全新的色彩和亮度演算法管理模組，利用ISP 5.0和華為達芬奇架構NPU組成端到端的影像系統，實現最高ISO 409600照片感光度，並極大的抑制高ISO下的噪點，實現手機影像的高還原解析能力。顯然，依託于麒麟990 5G在NPU和ISP上的出色表現，華為在影像領域的多年積累進而也有了充分施展的餘地，得以將AI算力和演算法深入應用於影像處理中。
在華為P40系列產品中，上面提到的專為成像能力而形成一系列演算法也有一個名字，就是“XD Fusion圖像引擎”。用一句話來概括，XD Fusion圖像引擎可以稱之為華為P40系列面對AI智慧攝影時代所做出的一次前瞻性探索，這項技術依託于麒麟990 5G晶片，將ISP 5.0的BM3D單反級硬體降噪技術、時域+空域雙域視頻降噪技術與華為達芬奇架構NPU的卓越性能融為一體，進而借由先進的鏡頭模組和全新圖元感測器將手機的影像能力推升到空前的高度。
高成本創新自研積累後的必然結果
反觀華為在AI和視覺計算領域的持續探索正是其他行業品牌不願深入的行為，這其中最大的原因莫過於無底洞的投入和短期內難以獲得回報。單看華為在精彩瞬間功能的建立便是一個驚人的投入，其大量的人體關鍵骨骼特徵點識別分析需要模型的搭建，而後根據不同的動作狀態再組成供機器學習參照的訓練圖集，而僅訓練圖集一項，華為AI部門一年就要為此付出數百萬美元的投入。可見，麒麟990 5G晶片能夠獲得在AI算力的絕對領先，以及華為P40系列上升到影像生產工具的這一地位並非是一蹴而就，而是腳踏實地、辛苦耕耘的結果。
值得一提的是，華為P40系列帶來的卓越影像水準也更好的完成了當下5G時代與流媒體應用場景的契合。5G時代動態化社交形式的到來意味著需要的高品質的影像功能，而華為P40正是為這一需求提供了強勁助力。
儘管麒麟990 5G晶片成名於5G，但是在中國已然率先步入5G常態化的背景下，華為P40系列卻用影像能力再度詮釋了麒麟990 5G強悍的另外一面，進一步體現出中國晶片的創新能力，以及未來引領全球的技術潛質。