日前，在NXP Connects 2020上，高級副總裁兼邊緣處理業務部總經理Ron Martino與MCU/MPU工程部副總裁Kevork Kechichian進行了爐邊談話，詳細介紹了NXP在嵌入式邊緣計算領域的具體工作，從物聯網智能家居到工業工廠自動化以及汽車增強電子座艙等應用。

構建完整的嵌入式計算平臺

目前恩智浦的計算平臺從毫安級DMIPS的小型控制器擴展到瓦級，且具有數十萬DMIPS的復雜處理器，包括16nm FinFET甚至是5nm的芯片，具有百億個晶體管。（NXP 2020年6月宣布將成為第一家采用臺積電的5nm工藝技術開發下一代“高性能安全計算”汽車芯片的公司。）

針對高端產品，除了制程工藝之外，NXP在設計中布局規劃，通過擺放不同的加速引擎。而針對電池供電的產品，NXP也進行了相應的電源優化，提供了不同的電源模式，以及包括平衡性能、熱封套以及熱占位面積，乃至最終的封裝及量產等多種考量因素。

NXP整合了各類邊緣計算平臺，從而作為子系統和單位進行構建。在此基礎上，每個產品在各處添加一些子系統。特別是在低端產品中，由于不能用堆疊晶體管來解決問題且需要注重利潤和成本，所以頗具挑戰性。同時針對平臺進行的優化也包括軟件及設計環境。

處理、連接與安全

談到人工智能和機器學習技術，實際上有許多不同的方法可以處理，包括CPU、GPU、DSP及多種硬件加速器等。NXP選擇IP授權及軟硬件結合的方式，結合實際應用，優化機器學習能力。“NXP大部分IP是授權獲得的，這對我們的流程以及如何管理各方面提出了更嚴格的要求，因為與不同的供應商打交道會出現不同質量的IP，特別是在機器學習方面。“Kechichian強調道。同樣在軟件層面，包括整個協議棧到軟件和應用層，也需要進行評估。通過種種優化，NXP保證在面積單位及單位功耗上獲得了最高性能。

“任何人都可以集成并拼接不同的IP塊，但區別在于，真正優化終端應用性能以及與一支經驗豐富的團隊以明智的方式完成這項工作。那么由于存在這方面的關聯，您需要連接多個IP用于數據源輸入，然后在其上執行處理?！盡artino說道。

Martino表示，消費者需求是用戶體驗，包括應用的運行速度及應用響應需求的速度等。所以，NXP團隊非常積極地運行一些基準測試。并且與客戶接觸時，重點詢問他們想要解決的關于邊緣AI的痛點。

Martino以i.MX 8M plus為例，這是首個集成專用神經處理單元(NPU)的i.MX系列產品，可在工業和物聯網(IoT)邊緣進行高級機器學習推理，該產品也擴展了其EdgeVerse產品組合。i.MX 8M Plus的NPU提供2.3 TOPS的算力，內部包括最高2GHz的四核Arm Cortex-A53內核，以及800MHz Cortex-M7實時處理器，此外還包括 800 MHz音頻DSP用于語音和自然語言處理，雙攝像頭圖像信號處理器(ISP)和3D GPU。

由于具有如此眾多的IP塊和子系統，復雜性與所對應的優化變得至關重要?！叭魞H從復雜性的角度來看，大多數IP經過獨立驗證，質量可靠。但將它們投入使用后，挑戰就出現了，比如基于網絡的系統，節點數很重要，但這些節點之間的連接會使其變得更加復雜。每次添加新連接時，復雜性都會增加。如果您觀察我們的一些i.MX產品，它們已經成為汽車中的全媒體中心。這些對計算高度敏感的多媒體處理器之間需要不同類型的交互，如內存相互傳輸數據、大量攝像頭、大量顯示單元、圖形處理等等。復雜性也由此而來。”Kechichian說。

如何確定所有應用場景問題上，首先，驗證所依據的空間是優質的。但由于它是具備多個處理元素的開放平臺，所以您會看到每位客戶在里面添加自己擁有的各種不同的代碼庫。因此，NXP嘗試從傳統驗證技術和正式技術來預測，從而覆蓋這一空間。同時，NXP還擁有早期模擬平臺。

Martino強調，未來無論是汽車、智能家居還是工廠自動化，人與機器都有了更多全新交互，如何實現無縫用戶體驗，如何讓機器始終以自動化的方式操作，這是用戶體驗最重要的地方。Martino念念不忘在CES 2020上展示駕駛員隨動的汽車環視系統，就是無縫的切換視角。

此外，Martino還談到了NXP在無線通信、有線連接的IP及產品，通過收購Marvell的無線業務以及本身擁有的各類連接技術，NXP具有更加豐富的產品組合。

安全，則是邊緣計算中最為看重的，其中信息安全通常是由外部惡意代理引起的，而功能安全是系統固有的。作為幾十年安全領域專家，NXP為產品添加更多安全功能是滿足產品差異化的重要標識，但是會增加現有復雜系統的開銷，有時會減緩處理速度，增加功率。

用i.MX 8運行Android 11，點亮屏幕，以便呈現出真正的爐邊對話，NXP如今除了強調產品本身特性之外，更關注產品的最終體驗

集成平臺的挑戰

除了芯片本身的集成設計之外，大量產品路線及大量不同的流程是平臺開發的更大挑戰。目前，NXP開始與CTO辦公室合作并開始研究如何最大限度地減少不同技術版本的數量，“我們將其稱為對齊到網格，實際上它適用于所有不同的方面，我們努力確保提供一組有限的技術?！盡artino說道。

隨著平臺規模壯大，越來越多的IP將變得集中，如6到8個技術、設計、開發方法。一切變得更加受控，這些類型的交換將逐漸提供一個中心工程領域及增長規模。

軟件和開發環境同樣需要集成。NXP通過集成 MCU產品組合、RT、MCUXpresso，所有驅動程序、固件和開發環境集成到一個安裝包中以便客戶輕松高效地優化其系統。這同樣適用于板級，在附加板上使用高端處理器從而獲得高級別的Wi-Fi功能，并且為了更方便使用能夠使BSP預加載固件驅動程序。

當然集成平臺并不意味著所有都會集成到一起。比如目前汽車中有大約300多個電子元件分散在各處，是孤立的，各種軟件協議棧是不一致的。在較為流行的域控制器架構中，隨著協議不同仍然會采用分區架構，但是每個區會有高度的集成化。

“軟件、硬件和支持集中到一起成為我們未來一個非常關鍵的部分?！盡artino總結道。

從用戶體驗來看，NXP正在行業中構建一個能夠通過開放標準和通用設備自我構建并與浮于硬件之上的軟件和應用層交互的平臺，從而提高效率并加以利用。比如將汽車鎖涉及到功能和消費電子、工業、智能零售、基礎設施、辦公室、家居并將其聚集在一起，通過一致性將事物連接在一起。

“最終隨著我們推出廣泛的嵌入式計算，對于這些平臺的裁剪及優化又將成為恩智浦的另一大優勢。 ”Martino補充道。

模擬、仿真與建模

Martino特別強調NXP已經開始研究早期模擬、仿真和建模平臺。在實驗室里就可以運行這些平臺，可以提前了解并掌握如何處理所有復雜性，包括架構探索、代碼開發以便開發出更優質的產品。尤其是隨著汽車開始與周圍環境交互，出現了智慧城市等，應用場景更加多樣，許多元素變得非常重要。

新思科技今年初也宣布，其支持NXP S32G車輛網絡處理器的虛擬器開發套件(VDK)已全面上市。VDK已被NXP團隊廣泛用于開發其S32G賦能軟件和固件。VDK是使用虛擬樣機作為嵌入式目標的軟件開發套件，它不但使Tier 1、OEM和半導體公司能夠在硬件上市前數月便開始軟件開發、集成和測試，還能夠通過回歸測試實現靈活和可擴展的部署，并通過故障注入提升測試覆蓋率，滿足高等級汽車功能安全要求，加速產品開發和測試進度。

一些全新的設計理念

Kechichian介紹，如今，NXP每三個半月就會將機器學習的計算能力提高一倍，然而汽車數據增長速度更快，等到產生了大量數據而無法快速處理時，將以全新的方式借助人工智能來計算。

另外值得一提的是最新的適用于MCU的Glow，能夠將機器學習模型部署到非常高效的用例、結合了擴展的能力與縮減的能力且能夠優化并使工作流程適合小計算內存容量上的用例。率先開發PyTorch的Facebook推出了開源社區項目Glow（Graph Lowering神經網絡編譯器），其目的是提供優化，提高一系列硬件平臺上的神經網絡性能。作為一種神經網絡編譯器，Glow基于未優化的神經網絡生成高度優化的代碼。這個特點有別于典型的神經網絡模型處理，后者采用即時編譯，因而需要更高的性能，還會增加存儲器開銷。像Glow這樣直接運行優化代碼可以顯著降低處理和存儲器要求。NXP也在Glow開源社區中扮演著積極角色，幫助推廣和普及Glow的新功能。“我們在橫向擴展機器學習功能時，也在按比例縮減，因此由電池供電的簡單物聯網設備可以得到有效優化?！盞echichian說道。

針對一些計算高度密集型應用處理器中，NXP提出了HUGI(Hurry Up and Get Idle)的概念，既“加快速度并進入空閑狀態”。HUGI概念英特爾較早以前在移動處理器產品組也提到過，在有運算任務的時候，讓整個平臺迅速啟動，發揮最大的潛力，盡快完成任務；在完成任務后，迅速進入休眠，沉睡狀態越深越好。因此，HUGI不但提高了處理器性能，由于完成任務很快，因此其進入休眠狀態時間相對延長，從而能夠降低總體功耗，這樣就實現了提升性能的同時，降低（或至少維持）功耗，延長電池續航時間的目的。

Kechichian介紹到，由于小型的人工智能邊緣處理器無法保持永不更換電池，因此需要越來越低的功耗，為此NXP已經開始考慮不同的電路技術，引入新設計權衡因素、新設計技術并獲得正確的技能組合以便專注于功耗， NXP也專門設有功耗主管或負責人，以確保功耗得到了最佳優化。

“一年前，NXP完成了組織架構和人員報告架構的轉變，自此整個團隊都按照這種新的指令方式展開工作。不同的市場提出了非常廣泛的技術挑戰，需要從邏輯的角度來解決。我們聯系所有專家，建立一個良好的社區，吸引越來越多的人加入，幫助他們向資深人士學習。目前，我們有近52個項目處于不同的執行階段且進度都達到預期?！盡artino在爐邊對話開始時的談話，也是NXP一年來在邊緣處理領域所做的總結。