自2020年開始，BEV感知技術(shù)在自動駕駛領(lǐng)域嶄露頭角，其核心優(yōu)勢在于實現(xiàn)全方位環(huán)境感知，有效彌補了傳統(tǒng)單目攝像頭的局限，通過多傳感器融合與高級算法，顯著提升了車輛在復(fù)雜路況下的感知精度與安全性。

一、BEV感知的業(yè)界現(xiàn)狀

（一）智駕方案的發(fā)展與BEV感知的興起

自動駕駛技術(shù)不斷發(fā)展，BEV感知在其中扮演著愈發(fā)重要的角色。在2020年之前，L2輔助駕駛系統(tǒng)主導(dǎo)著自動駕駛市場，其功能主要包括自適應(yīng)巡航（ACC）、自動緊急剎車（AEB）和車道保持輔助（LKA）等。這些功能主要聚焦于車輛前方的感知，通過單顆前置攝像頭即可滿足需求，此時對車輛周身360度感知的需求并不強烈，BEV感知的應(yīng)用場景較少。 

隨著技術(shù)的進步，高速NOA和城區(qū)NOA等具備更高級功能的系統(tǒng)逐漸出現(xiàn)，這些系統(tǒng)增加了自主超車、無保護左轉(zhuǎn)等功能，對車輛的縱向和橫向控制提出了更高要求。為實現(xiàn)這些功能，傳感器布局從單一的前視攝像頭轉(zhuǎn)變?yōu)?60度環(huán)視布局，以獲取車輛周身的動靜態(tài)信息，滿足復(fù)雜場景下的感知需求，這推動了BEV感知的發(fā)展。

（二）BEV感知的技術(shù)演進

在BEV感知概念明確之前，從2D圖像感知結(jié)果轉(zhuǎn)換到3D空間的過程主要基于規(guī)則或半規(guī)則的方法。這些方法依賴平面假設(shè)、相機內(nèi)外參以及相機之間的匹配關(guān)聯(lián)關(guān)系，將車道線或動態(tài)物體轉(zhuǎn)換到車輛坐標系（VCS）空間，但存在諸多問題。例如，平面假設(shè)在上下坡等場景中不成立，導(dǎo)致測距誤差；相機抖動會影響轉(zhuǎn)換的準確性；跨視角檢測的一致性差，給下游應(yīng)用帶來困難。 

在泊車場景中，早期采用IPM（逆透視變換）全融合方案，基于平面假設(shè)將圖像逆投影到地面并拼接成2D圖進行感知，但該方案對車輛抖動敏感，依賴后處理。而BEV中融合方案則在特征層面進行融合，輸出直接在3D空間，具有更好的一致性，但網(wǎng)絡(luò)學(xué)習(xí)難度較大。 

特斯拉是BEV感知的重要推動者，其堅持純視覺路線，硬件配置多年未變，如Hardware 3.0升級到4.0，攝像頭配置基本穩(wěn)定。特斯拉的BEV感知網(wǎng)絡(luò)效果出色，關(guān)鍵在于其強大的數(shù)據(jù)閉環(huán)能力。其網(wǎng)絡(luò)結(jié)構(gòu)包含backbone、空間融合模塊、時序融合模塊和任務(wù)head，采用transformer結(jié)構(gòu)進行空間融合，利用Spatial RNN進行時序融合，并通過Rectify層對相機外參歸一化，提升感知性能。

（三）數(shù)據(jù)標注與行業(yè)差距

數(shù)據(jù)標注是BEV感知發(fā)展中的關(guān)鍵環(huán)節(jié)。在傳統(tǒng)感知中，標注在圖像空間進行，簡單且成本低。但BEV感知的輸出在3D空間，標注難度顯著增加，尤其是動態(tài)重建，純視覺方案下的難度更高。 

特斯拉采用自動標注為主、數(shù)據(jù)仿真為輔的標注方式，利用龐大的車隊構(gòu)建影子模式，收集車輛與駕駛員操作的差異數(shù)據(jù)，實現(xiàn)高效的數(shù)據(jù)采集和閉環(huán)。相比之下，國內(nèi)主機廠和軟硬件供應(yīng)商雖也在積極開展BEV感知模型和數(shù)據(jù)閉環(huán)系統(tǒng)的研發(fā)，但在基礎(chǔ)設(shè)施等方面與特斯拉仍存在較大差距，整體處于追趕階段。

二、關(guān)鍵的BEV感知任務(wù)

（一）BEV感知網(wǎng)絡(luò)的基礎(chǔ)模塊

BEV感知網(wǎng)絡(luò)主要包含空間融合和時序融合兩個關(guān)鍵模塊。空間融合負責(zé)將2D圖像像素空間的檢測結(jié)果轉(zhuǎn)換到VCS空間，保證測距精度；時序融合則融合前后的持續(xù)信息特征，對靜態(tài)物體的重建進行增強，為動態(tài)物體的跟蹤、預(yù)測等任務(wù)提供基礎(chǔ)，還能利用歷史信息進行補遮擋操作，實現(xiàn)類似基于AI的slam建圖功能。

（二）BEV空間融合的方法

1. IPM方法：IPM（逆透視變換）方法假設(shè)地面是平面，基于底層幾何的可逆性，將圖像上的像素點對應(yīng)到平面上，計算效率較高。然而，該方法存在明顯局限性，它對地面平坦和目標接地有嚴格要求，一旦不滿足，如遇到非平面地面或空中目標，畸變會很嚴重，遠距離感知效果也較差，有效范圍通常在三五十米左右，因此更適用于泊車等近距離場景。

2. Depth方法：Depth方案是一種自底向上的方法，通過預(yù)測每個像素的深度或深度分布，將圖像特征反投到3D空間，從而獲得3D特征和BEV空間的feature。這種方法能得到稠密的BEV表達，但在3D檢測時通常需要NMS（非極大值抑制）后處理，存在超參數(shù)優(yōu)化困難和無法端到端的問題。此外，其基于單目深度估計的泛化性和性能有限，有效距離也在50米左右，計算量較大，目前應(yīng)用相對較少。

3. Transformer方法：Transformer方法是當(dāng)前的主流方案，它是一種自頂向上的方案，通過query和attention機制直接從全局信息預(yù)測動態(tài)或靜態(tài)結(jié)果。該方法具有諸多優(yōu)勢，如易于實現(xiàn)端到端、便于多傳感器融合、可將地圖信息融入網(wǎng)絡(luò)以擴大感知范圍和精度等。 

Transformer方法根據(jù)query的密集程度分為sparse query和dense query兩種。sparse query計算量較小、效率高，適合檢測類的稀疏任務(wù)，如動態(tài)物體檢測；dense query有稠密的中間態(tài)表示，可進一步進行特征提取和數(shù)據(jù)增強，更適合語義分割等任務(wù)，但計算量較大，受感知范圍限制。在實際應(yīng)用中，dense query方法更為通用，但在平衡感知距離和精度時面臨挑戰(zhàn)，需要謹慎選擇BEV空間的分辨率。

（三）BEV時序融合的方法與作用

BEV時序融合最初用于解決遮擋問題，通過利用歷史信息，使網(wǎng)絡(luò)能夠判斷被遮擋物體的存在。在端到端的自動駕駛系統(tǒng)中，不同階段（如tracking、prediction和planning）都需要時序信息。例如，tracking需要時序上的關(guān)聯(lián)來跟蹤目標物體，prediction則依賴當(dāng)前及歷史信息預(yù)測未來物體的軌跡和狀態(tài)。 

實現(xiàn)BEV時序融合的主流方法主要有三類。Dense BEV方法，如BEVFormer中的方案，根據(jù)車輛不同時刻的pose，利用內(nèi)外參直接將feature投影過去并累積；Perspective方法會在每個cell中取點，將其投影到歷史幀中，獲取采樣點的feature并拼接；Object-centric方法以物體為中心，預(yù)測物體上的點，采用物體跟蹤的方式融合feature。從Dense BEV方法到Perspective方法再到Object-centric方法，處理的點逐漸減少，處理效率逐漸提高 。