今天燃油車正在被電動汽車所取代，同樣的機械系統傳感器將被眾多電子傳感器所取代，以實現高效運行和實現不同程度的自動駕駛/輔助駕駛特性。這些新傳感器中的一些將單獨運行，但許多傳感器將需要將其與其他傳感器結合或“融合”，以最大限度地發揮其價值。

目前尚不清楚的是，傳感器融合將在車輛內發生的位置，或者數據將如何組合、排序及優先排序。

Flex Logix 的 IP 銷售和營銷副總裁 Andy Jaros 表示：“很明顯，當今汽車中傳感器數據過多，處理能力不足時，傳感器融合就會發生。但是這仍在發展中，并將取決于汽車系統設計師對每種車型的具體決定。”

來自攝像頭、雷達和激光雷達等傳感器的數據流可以通過多種方式進行組合，以提供新的或更可靠的信息。處理發生的位置有助于為網絡架構提供信息，但它也會影響人工智能 (AI) 對數據的操作方式。

“預計原始數據將與相機或其他傳感器融合，然后進入感知引擎，以產生更好的結果。”賽靈思汽車高級總監 Willard Tu 說。

關于融合將如何運作并沒有普遍的共識，但有很多意見。

傳感器融合基礎

自從大約 10 年前電子傳感器推出以來，傳感器融合一直很流行。這個想法是通過結合幾個不完美傳感器的結果，可以獲得更好的整體測量。一種看待它的方式是一個傳感器可以覆蓋另一個傳感器的弱點。例如，來自加速度計、陀螺儀和磁力計的數據如今結合在一起，可以提供更好的位置和導航信息。

Rambus 安全技術產品經理 Thierry Kouthon 說：“[汽車中] 傳感器融合的目的是讓車輛像人類一樣感知車輛，因為人類具有視覺、聽覺和嗅覺，我們必須用具有相同精度的東西來代替它。”

在ADAS系統中，大部分焦點都集中在與視覺相關的傳感器上：攝像頭、雷達和激光雷達。它們遠不是車輛中唯一的傳感器，但與性能相關的傳感器——顯示事情進展的監視器——更有可能獨立運行。

這些監視類應用與傳統汽車儀表盤的監視器完全不同。 “在燃油車中，您至少需要 15 個外部監視器來監控發動機本身?！眕roteanTecs 汽車業務總經理 Gal Carmel 指出。 “但是在電動汽車中，你不再有發動機了。你有一個電池，你有一個電池管理系統。所以你看到的趨勢基本上是可以將所有這些顯示放在屏幕中?！?p>

視覺傳感器要復雜得多，它們必須處理的情況——變化的光線、天氣、各種感興趣的物體——意味著每個傳感器都有其優點和缺點。這個想法是通過將它們一起使用，可以涵蓋所有情況。

圖 1：使用傳感器融合的場景理解和導航。資料來源：西門子

原則上，傳感器融合可以以幾種不同的方式工作。一種方法是將所有傳感器的所有輸出始終組合在一起，針對不同情況采用不同的測量方法。另一方面，系統主要依賴于一個傳感器，例如相機，除非情況對相機數據的質量產生懷疑——比如低光。其他傳感器選項然后作為冗余在需要時介入。

“如果你看看所有這些傳感器，是的，它們提供某種重疊或冗余，但它們也提供不同的能力?！盋armel說。

也可以融合其他數據，例如 GPS 和地圖數據。車輛的位置可以通過 GPS 與視野中識別出的地標和車道標記相融合來確定，但可以與地圖數據進行交叉檢查，以確保計算出的位置有意義。

Rambus 的 Kouthon 說：“這也可以一直延伸到 V2X 連接，這意味著交通燈和鐵路道口等基礎設施以及其他汽車都可以與你交流，‘小心，你試圖超車的卡車前面有另一輛車，你看不到?！?p>

因此，可以通過多種方式融合數據，并且融合的質量可以成為一個差異化因素。

是否需要所有傳感器？

每個傳感器都代表著成本，因此使用越少成本越低。盡管目前有三個主要的視覺傳感器，對于這三個是否會持續存在都有著不同意見。是否可以從三個傳感器減少到兩個具體取決于傳感器融合和人工智能的質量。

英飛凌產品營銷總監 Vikram Patel 表示：“當有足夠的數據并且人工智能足夠智能時，其中一個傳感器就會失效。如果這些原始設備制造商可以只使用雷達和攝像頭，我想他們會這樣做的?！?p>

當然，激光雷達制造商的看法不同。 “那些人認為我們可以只用激光雷達，也許還有雷達，或者便宜的雷達，然后去掉攝像頭。”Patel補充道。

最高級別的傳感器融合的目標是使用最佳數據做出決策，這對于那些需要做出生死攸關的決策的高級系統至關重要——高級駕駛輔助系統 (ADAS) 或 L4/L5 自動駕駛系統。

在局部層面——比如在汽車的一個角落——這可能意味著決定哪些物體在視野中。對于側向攝像頭，這可能意味著識別潛在的行人或標志。在汽車的前面，攝像頭可能需要看得更遠，并能夠計算出速度。

在“全球”層面，這必須滿足 ADAS 和自動駕駛的需求，與來自汽車周圍的輸入相結合，以創建車輛環境的完整圖片?！八袦y量、行人、物體檢測、對地標的理解、車道標記等都可以避免事故?！盋armel說。

三種計算架構

做好這件事需要三種不同的計算，這很容易混淆。首先是視覺數據的簡單處理，這是基本的圖像處理工作，如顏色轉換、去除噪聲和歸一化數據，所有這些工作都是為了提高下游計算中使用的數據質量。

英飛凌的 Patel 表示：“與我交談過的每個客戶都在談論將純原始 ADC 或 FFT 數據轉換為更智能或更簡潔的數據。噪音已經被過濾掉，然后你把它移到你正在使用的任何計算通道中?！?p>

接下來的兩個可能有些交織。傳感器融合結合了來自不同來源的數據，機器學習 (ML) 可以理解圖像。嚴格來說傳感器融合不是機器學習，機器學習也不是傳感器融合。但是數據可以在呈現給 ML 引擎之前融合，或者 ML 可以用于單個數據流預融合，然后 ML 結果可以融合在一起。

融合架構還必須能夠處理在車輛外部生成的數據。西門子 EDA 自動駕駛和 ADAS 高級總監 David Fritz 表示：“智能城市基礎設施 [與內部汽車傳感器融合] 存在類似問題。 一方面，它檢測物體并對它們進行分類。我如何以一種易于使用的方式將這些信息輸入到車輛中？如果他們發送原始數據，他們消耗的 5G 帶寬將是驚人的。想想紐約市的 10,000 個十字路口，所有十字路口都同時傳輸數 TB 的數據，它會淹沒整個系統?！?p>

“假設他們想出了一些壓縮的方法，車輛本身將不得不增加算力來解壓縮?！?p>

讓外部源傳達車輛可以本地使用的對象元數據將簡化數據融合。

圖 1：左側是傳感器數據直接傳送到中央處理器的場景，可以是完全原始的，也可以是經過一些小數據清理后。它可能通過與區域控制器的單一連接或直接連接到中央處理器。在右側，傳感器數據在區域中本地分類，原數據被發送到中央處理器。資料來源：Bryon Moyer/半導體工程

如果這成為處理事情的方式，那么所有這些對象共享都需要一些源數據標準化。Fritz說：“我們不知道整個行業有任何標準化的運動，盡管這是不可避免的?！?“它很可能是由誰先出現并擁有最多市場份額的事實上的標準驅動的?！?p>

然而，這并不是一個需要解決的大問題。他補充說：“實際上，您必須擁有標準化原數據的事物數量是有限的。而且每一個的數據量都很小。”

這一切會在哪里發生？

所以這些計算酒精會在車內的什么地方發生？這是推動車輛架構設計的考慮因素之一。所謂的域架構似乎已成為首選方法，即使并非所有制造商都參與其中。

Cadence 汽車解決方案總監 Robert Schweiger 說：“下一代架構是域架構。在汽車的每個角落，都有一個域控制器，負責管理安裝在該物理區域的傳感器?！?p>

這個想法是由控制器在汽車的有限部分完成相當多的工作， 然后可以將這項工作的結果傳送到中央處理器，在那里可以將本地部分信息拼接成全局視圖。

“我們看到區域架構的發生主要是因為復雜性，在區域方案中管理和移動數據更容易?！?p>

圍繞這個話題的討論往往集中在原始數據與處理過的數據上，但并不是那么清晰。 “‘原始數據’這個詞會導致很多混淆，因為不同的人對原始數據的定義不同?！?Patel 警告說。 “這不僅僅是你今天看到的完全處理過的對象數據。但是你會看到部分處理完成，結果通過以太網通道發送。”

“今天，大多數傳感器融合都是面向對象的，而不是原始的數據?！盩u 指出。 “面向對象的方法需要較少的性能。原始融合將需要更復雜的處理，同時也需要更新的技術。”

分區方法通過以模塊化和可擴展的方式分配工作來簡化系統。例如，低端汽車可能有兩個區域，而高端汽車可能有六個或更多區域。將區域控制器作為通用元素，更有可能使控制器容量更高——并且需要控制成本。

“這可能是一個中間立場出現的地方?！盨ynopsys 的 Swanson 說。 “因此，在區域架構中，您可以進行一定程度的抽象，將其提供給中央處理單元?！?p>

一些原始設備制造商——尤其是那些從零開始的新制造商——可能會選擇一種將所有事情都集中完成的架構。但至少到目前為止，這些 OEM 還沒有試圖吸引廣泛的市場，而是專注于高端。

“如果我是特斯拉，我主要生產高端汽車，我真的不關心低成本汽車的規?；?。通用汽車和大眾汽車——他們會關心的?！?p>

他并不是唯一一個看到這種分裂的人?！皞鹘y的原始設備制造商、寶馬、戴姆勒和福特?！盞outhon 說，“還有一種新趨勢——Aptivs、Teslas、Waymos——他們對事物的看法截然不同?！?p>

例如，特斯拉使用極其強大的中央處理單元。“該芯片接收所有攝像頭信號、所有超聲波信號和所有雷達信號，并集中處理它們?！盞outhon 說。“他們的理由是，我們將在中央處理單元和傳感器之間的布線提供冗余，以減少發生故障的機會?！?p>

這種布線冗余反映了他們在車載數據傳輸和電子設備供電方面所做的專有工作。通過使用環形架構，無需將網絡中的電線加倍即可獲得此類冗余。

當然，可靠性對于汽車來說是一個大問題?！叭绻阒皇褂靡粋€中央處理器，你就會在一臺計算機上提高可靠性?！盨wanson指出。

也有人認為并非所有決策都需要集中處理。 “可能有很多決定可以在當地做出?！盨wanson說，“你不需要超級計算機來控制擋風玻璃刮水器的運行頻率。”

域架構的理解

鑒于區域處理的方法，我們現在可以解決將在何處完成什么的問題，盡管供應鏈中的不同利益可能會有所變化。

例如，相機制造商可能希望通過自己進行分類然后提供對象原數據來區分。至少，他們可能會在預 ML 和預融合中完成大部分繁重的圖像處理。

區域控制器可以執行傳感器本身沒有執行的任何本地處理。這可能是信號清理，可能是本地機器學習，也可能是本地傳感器融合。這一決定的重要決定因素是用于移動數據的帶寬。在該區域本地進行的任何處理都會自然地壓縮原始數據。該區域可以發送對象元數據，而不是將原始相機數據傳送到中央計算機。

區域控制器可以對其視圖內的對象進行初始分類?！皡^域控制器將是預處理來自這些傳感器的數據并將更高級別的對象數據發送到中央計算單元的設備?！盋adence 的 Schweiger 說。 “你可以在區域控制器中重新融合 [即早期融合]，然后在中央計算機中對所有四個區域控制器進行最終融合。預融合還將為您提供減少數據處理的好處?！?p>

這與決定使用哪些網絡來傳送所有這些數據密切相關。西門子與 OEM 進行了一些合作，模擬了不同的設置。

“我們對整輛車做了三個模型，”Fritz解釋說。 “在其中一個上，我們將通過汽車以太網將原始傳感器數據傳送到中央計算機。中央計算機將完成所有傳感器融合、物體檢測、分類和決策。我們做的第二件事是，‘如果我們在邊緣進行一些傳感器計算會怎樣？’這將網絡帶寬減少了大約 40%?！?p>

在這個模型中，西門子從邊緣向中央計算機發送了一個3D點云。 “第三種選擇是在靠近傳感器的邊緣做所有事情，”Fritz說。 “然后我們要做的就是傳遞對象元數據——它的位置、它的分類、它的運動方向等等。我們看到第一種情況需要超過 10 Gbps 才能傳輸所有原始傳感器數據”，這遠遠超過當前以太網最大值的 1 Gbps?！爸挥凶詈髢蓚€被認為是可行的。我們傾向于對象融合，而不是任何類型的 3D 點云?！?p>

這表明可以在該區域實施相當多的工作。但是需要多少成本？域控制器的一個重要考慮因素是成本，這可能會限制域控制器中大型 ML 硬件的數量。這將是劃分工作的重要因素。

“從經濟的角度來看，你不能將最大的 AI 性能投入到區域控制器中，因為芯片面積會太大，”Schweiger 警告說。 “所以這意味著你需要混合。”

也就是說，由于 OEM 試圖在區域和中心找到傳感器融合和 ML 的最佳組合，因此處理分區的方式可能仍然是專有的。 “他們如何在車輛中分配某些任務可能是 OEM 的秘訣?！盨chweiger指出。

或者簡單地說，沒有一種架構可以適合所有人。 “這完全取決于制造商及其理念，”Cadence 設計 IP 營銷總監 Tom Wong 補充道。 “以及他們在核心中可用的計算資源以及功耗?！?p>

一個額外的問題

盡管如此，人們仍然堅信，在沒有任何限制的情況下，將所有原始數據帶到中央計算機進行計算可以做出最佳決策。通過壓縮初始原始數據，所有預處理都犧牲了一些信息以減少帶寬。它可能不是最佳的，但現在已經足夠了，特別是考慮到車輛暫時會受到帶寬限制。

在這種觀點中，將域用于傳感器融合和 ML 將是一個過渡性的事情，直到我們能夠更有效地將所有數據帶到中心。 “目前，這些公司仍在開發非常智能的傳感器模塊，”Schweiger 說。 “但稍后，這將發生變化，并將轉向中央計算單元?！?p>

任何人都在猜測這種情況何時會發生，因為即使我們設計了更快的網絡，我們也在添加更多數據。這表明該域概念可以在未來很長一段時間內托管一些這種基本計算。

然而，如果這種轉變確實發生了，它并不一定標志著區域架構的結束。許多與傳感器融合或 ML 無關的任務仍然可以在本地執行，區域架構提供了一種高效便捷的方法來做到這一點。

“也許有些事情不需要數據融合，”Schweiger 說。 “你只需要預處理一些東西，比如雷達傳感器的波束形成。對于這個傳感器來說，這是一件單獨的事情，它不會影響邊緣決策?！?p>

因此，盡管 OEM 采取措施在區域和中心之間提供傳感器融合和 ML 計算的最佳組合，但隨著時間的推移，它將遷移到中心。例如，這會反對在邊緣的相機中執行分類，并且可能會在相機制造商認為他們需要的差異化和OEM想要做的之間產生爭執。

“一旦 OEM 解決了所有這些問題，一切都將更具可擴展性且更易于維護，”Schweiger 指出。 “它可以擁有更簡潔的軟件架構，因為您不需要刷新 100 個 ECU?！?p>

 Kouthon對此表示同意。 “通過擁有一個網絡，你可以將所有內容都帶到中央計算機，進行無線更新會容易得多，因為每次你只有幾件事要更新。”

就目前而言，不同的主機廠可能會在不同的地方劃分區域和中心之間的界限。靈活性很重要，無論是軟件還是可編程硬件，Flex Logix 的 Jaros 說：“關于傳感器融合的許多問題，我們都聽到了雙方的爭論。 “我們認為答案是使用 eFPGA 來讓系統設計人員擁有一個支持這兩種場景的芯片，其中融合是在傳感器附近或在中央處理單元中完成的?！?p>

但考慮到車輛的設計方式，這將是一個緩慢的過程。“你會在 2026 年左右看到這樣的解決方案在市場上可用，”Fritz說。 “每個人都需要觀察結果如何，并準備在必要時修改他們的策略?！?