據外媒報道,日前,Waymo表示開發了新方法SurfelGAN,利用自動駕駛汽車收集的傳感器數據,通過AI生成用于仿真的攝像頭圖像。SurfelGAN使用紋理映射表面元素(surface elements,簡稱surfel)重建場景和攝像頭視角,以獲取位置和方向。
諸如Waymo這樣的自動駕駛汽車公司利用仿真環境來訓練、測試和驗證系統,然后再將系統部署到現實世界的車輛中。設計模擬器有多種方法,但一些基礎的模擬器忽略了對于場景理解至關重要的線索,比如行人的手勢和閃爍的燈光。而像Waymo CarCraft這樣更復雜的模擬器,由于試圖對材料進行高度精確的建模,因此需要耗費大量的計算資源,以確保像激光雷達和雷達等傳感器在真實世界中可靠地工作。
隨著SurfelGAN的推出,Waymo提出了一種更簡單的、數據驅動的方法來模擬傳感器數據。SurfelGAN從真實世界的激光雷達傳感器和攝像頭獲取數據,創建并保存場景中所有物體的3D幾何、語義和外觀的豐富信息。然后,再從不同的距離和視角渲染仿真場景,以進行重建。
Waymo發言人稱,“在仿真中,當自動駕駛汽車和其他道路使用者的移動軌跡發生變化時,系統會生成真實的視覺傳感器數據,幫助我們在新的環境中建模場景。部分系統正在生產中。”
SurfelGAN利用紋理增強表面元素地圖的場景表示方法,這是一種緊湊、易于構造的場景表示方法,能夠在保留傳感器信息的同時保持合理的計算效率。SurfelGAN將激光雷達掃描到的體元(3D空間中定義點的圖形信息的單位)轉換成表面元素盤(surfel discs),可根據攝像頭數據估算顏色,然后對這些元素進行后處理,以處理光線和姿態的變化。
為了處理車輛這類動態物體,SurfelGAN還使用了Waymo Open Dataset中的注釋。興趣物體的激光雷達掃描數據不斷積累,以便在仿真中Waymo可以生成汽車和行人的重建。
SurfelGAN中的生成對抗網絡(GAN)模塊負責將表面元素圖像渲染轉換成逼真的圖像。其生成器模型從使用分布采樣的隨機噪聲中生成合成示例,這些示例連同來自訓練數據集的真實示例一起反饋給鑒別器,而鑒別器視圖區分這兩者。生成器和鑒別器的能力不斷提升,直到鑒別器無法區分合成示例和真實示例。
SurfelGAN模塊以一種無人監管的方式進行訓練,意味著其在沒有參考已知、標記或注釋結果的情況下推斷語料庫中的模式。有趣的是,每當鑒別器正確地識別合成示例時,就會告訴生成器如何調整輸出,從而更加真實。
Waymo進行了一系列測試來評估SurfelGAN的表現,給它輸入了798個訓練序列,包括20秒的攝像頭數據和激光雷達數據,以及來自Waymo Open Dataset數據集中關于車輛、行人和騎行者的注釋。SurfelGAN團隊還創建和使用新的數據集Waymo Open Dataset-Novel View,為原始數據中的每一幀創建全新的表面元素圖像渲染。
最后,Waymo收集了未注釋攝像頭圖像的額外序列(共9800個,每個100幀),并構建了一個稱為雙攝像頭后數據集(Dual-Camera-Post Dataset,DCP)的語料庫,以測量SurfelGAN生成圖像的真實度。DCP可處理兩輛車同時觀察同一場景的情況;Waymo使用來自第一輛車的數據重建場景,并在第二輛車的精確姿態下渲染表面元素圖像。
研究人員稱,當SurfelGAN生成的圖像提供給現成的車輛探測器時,最高質量的合成圖像達到了與真實圖像相同的標準。SurfelGAN還改進了DCP(雙攝像頭后數據集)中的表面元素渲染,在一定距離內生成更逼真的圖像。此外,研究人員還證明,SurfelGAN生成的圖像還將車輛探測器的平均精度從11.9%提高到13%。
Waymo指出SurfelGAN并不完美。例如,它有時無法從損壞的幾何圖形中恢復,導致車輛看起來不真實。在沒有表面元素信息的情況下,AI表現出了很大的差異。盡管如此,研究人員仍然認為SurfelGAN是未來動態物體建模和視頻生成仿真系統的堅實基礎。
上一篇:聰明的買車人丨埃安V的“腦洞”能否轉換為競爭力? 從埃安V再議純電平臺 卡叔
下一篇:域控制器和汽車未來的電子架構
推薦閱讀
史海拾趣
Astro Industries Inc的創始人在電子行業擁有豐富的經驗,他們看到了市場對于高性能電子產品的迫切需求。于是,公司從創立之初就專注于技術創新,投入大量資源進行研發。經過不懈的努力,Astro Industries Inc成功推出了一款具有顛覆性的電子產品,其性能遠超當時市場上的同類產品,迅速獲得了市場的認可。
隨著市場競爭的加劇,Datatronic公司意識到單純依靠技術創新已不足以保持競爭優勢。于是,公司開始調整市場策略,注重與客戶的溝通和合作。通過深入了解客戶需求,公司能夠提供更符合市場需求的定制化產品和服務。同時,公司還加強了與上下游企業的合作,形成了穩定的供應鏈體系。
貝爾金公司的業務始于1983年的美國加州霍桑。當時,它僅僅是一個在車庫里運營的小企業,銷售額僅為十八萬美元。然而,這個看似不起眼的起點卻孕育了一個未來的行業巨頭。從最初的產品設計和生產,到逐步進入市場并獲得消費者的認可,貝爾金憑借對電子產品連接技術的深入理解和創新,逐步在行業中嶄露頭角。
貝爾金的成功不僅僅局限于美國本土。隨著全球市場的不斷擴張,貝爾金也在全球范圍內建立了廣泛的銷售網絡和物流中心。位于加州洛杉磯的總部、好萊塢的工業設計中心以及紐約州羅切斯特的研發機構,共同構成了貝爾金全球業務的核心。這些機構之間的緊密合作,確保了貝爾金能夠迅速響應全球市場的需求,提供高品質的產品和服務。
隨著電子行業的不斷發展,新技術和新應用層出不窮。BNS Solutions公司緊跟時代步伐,不斷加大研發投入,推動技術創新。公司團隊不斷探索新技術、新材料的應用,開發出了一系列具有創新性和前瞻性的電子產品。這些產品不僅提高了行業的整體技術水平,還引領了行業變革的潮流。通過持續創新,BNS Solutions公司在電子行業中保持了領先地位,成為了行業的佼佼者。
無錫友達注重企業文化建設和團隊建設,致力于為員工創造一個良好的工作環境和發展空間。公司設有完善的培訓及考核晉升制度,員工上升空間廣闊。同時,無錫友達還積極與省內各大高校合作,建立產學研基地,培養出一二級工程師50余名。這些優秀的人才為公司的發展提供了有力的人才保障。
請注意,以上故事均為根據公開信息概括的框架性內容,具體細節可能因實際情況而有所不同。
最近要做一個開關電源,需要用到仿真,請問PSPICE怎么樣,聽說很難做閉環的仿真,因為許多芯片沒有(比如TL494),而芯片公司很多也沒有給出仿真模型,聽說SABER可以做芯片級的仿真,請問有沒有人熟悉SABER軟件,請大家給個建議; 目前我主要做反 ...… 查看全部問答∨ |
|
第一次自己畫板子 不想用那么多現成的DCDC.想找個電路.找了一晚上也沒發現什么好的方案.這個霍爾元件也沒用過.型號是TBC25C04/TBC50C04型霍爾電流傳感器 網上資料也不多.高手們幫幫忙.給點意見吧… 查看全部問答∨ |
|
原文:由于輪椅控制器采用的是雙極性模式,有四個功率管:T1、T2、T3、T4,其中 T1 和 T4 的 PWM 脈沖信號是相同的,T2 和 T3 的 PWM 脈沖是相同的,T1 與 T2 的 PWM& ...… 查看全部問答∨ |
手上有一塊beaglebone的板子,也做了一些實驗,這是前言現在我的需求是,希望能從NOR Flash啟動AM335x,當然beaglebone是無能為力了。根據TRM上所述,有兩種方式,一個是MEM啟動選擇XIP方式,還有一種是FEB(快速外部啟動)。然后問題就來了!如果 ...… 查看全部問答∨ |

- 答題抽獎:Mentor Tessent Automotive相關測試解決方案(獎品池還剩不少獎品喲)
- Mouser&TE直播:解鎖智能家居部件新技術,探索連接黑科技
- 全球首款Cortex-M23內核物聯網芯片SAML10和SAM L11系列 闖關獲取SAML10/SAML11法寶,拆除電子界安全危機,贏好禮!
- 有獎電源設計問卷調查
- 直播已結束【用于光伏逆變器/儲能系統的歐姆龍繼電器 /開關/連接器解決方案】
- 【搶樓贏禮】聊聊我用過的MOSFET!
- 【已結束】有獎直播【TI 全新CC2340無線 MCU,助力低功耗藍牙應用】
- 羅姆有獎直播 | 高輸出功率激光二極管—助力激光雷達性能提升
- 有獎評測:50套來自恩智浦全新快速物聯網原型設計套件(價值350元)
- 您的電路保護有足夠的空間嗎?Littelfuse的881系列保險絲迎接這一挑戰