一直以來,自動駕駛所有運算都在決策層進行,芯片算力不足是高等級自動駕駛發展受制約的原因之一,那么能不能從感知層面減少數據流,降低芯片運算量呢?
大家應該知道,高等級的自動駕駛需要多種傳感器共同配合,視覺傳感器也是其中之一。
傳統的機器視覺是怎樣的?
傳統攝像頭通過間隔曝光,電荷量根據輸入光的強度發生變化,以幀率的方式采集平面圖像,將捕捉到的光學信息(包括采集點的灰度和顏色)轉化成數字信號傳輸到決策層,實現場景的還原。
這就存在幾個問題,一是數據不連續,幀的方式只記錄了固定時間間隔的畫面,還有大量曝光盲區時間點的物體運動信息丟失,同時快速運動場景下圖像也不清晰甚至沒有記錄到;二是輸出了大量無效冗余數據,增加芯片負擔,造成計算資源浪費。
革新:讓汽車的眼睛和耳朵擁有智慧
傳統攝像頭把 “看到”的所有畫面輸出到決策層,讓芯片過濾篩選有用的信息,這是一種懶辦法。所有有人提出了革新,那就是從感知層解決一部分數據,讓汽車傳感器擁有智慧,主動對信息過濾,并對有用信息加以分析后再輸出。
就像古代的皇帝和大臣,作為皇帝的“耳目”,如果大臣沒腦子,一股腦把所有奏折遞交給皇帝,那皇帝一定會累死;而如果大臣能主動過濾一些沒用的奏折,挑選出自己不能決定的那部分交給皇帝決策,那么整個國家就能高效運轉。
今天我們要說的是保隆發布的一款動態視覺傳感器DVS,它就是這個聰明的“大臣”。
保隆動態視覺傳感器集成芯侖科技的芯片技術和武漢大學的算法技術,芯片模仿人眼視神經,摒棄傳統圖像幀率和曝光感知的方式,采用事件驅動原理,即以像素點的方式連續單獨監測光強波動,僅在有光強變化時才能激發像素點進行數據輸出,產生較低的數據率。
同時像素點的時間分辨率達到納秒,相當于每秒幾十萬幀,能采集到更高速度的運動物體。動態范圍高達140dB(普通相機一般都是60-70dB,車載要求達到120dB),讓它也能在諸如隧道、大霧、等強弱光交替變化的環境條件下快速輸出清晰圖像,還能記錄物體的運動矢量信息,從而預測物體運動趨勢。
簡單來說,你可以把它理解為青蛙的眼睛,對靜態的物體視而不見,而對有相對運動的物體哪怕速度快過子彈,都能精準捕捉并預測軌跡。
動態視覺傳感器能帶來哪些優勢?
據介紹,目前世界上做動態視覺傳感器方案的公司并不多,包括瑞士的Inilabs、法國的Prophesee、三星(licensed IP)及保隆科技,前三者的傳感器分辨率最大只到30萬像素,而保隆科技目前做到了100萬像素(車規級)。
同時它還擁有三種圖像輸出模式:
圖片模式,與傳統圖像傳感器一樣的全幅圖像,并兼容傳統圖像處理算法和硬件;
光流模式,從芯片上得到光流向量場信息,直接輸出全分辨率運動矢量(方向和速度),能夠對物體的運動方向和速度都有正確的預測;
動態模式,通過對自然光強變化的判定輸出仿生的動態特征脈沖信號。
通過靈活運用三種數據流對算法進行優化,在很多場景下能將運算量降級上千倍。
舉一個簡單的應用案例就是,采用這種芯片技術的ADAS系統,跟傳統的攝像頭技術路徑相比,其傳感器從感知到信號到控制指令發出,時間可節省幾百毫秒,對于一臺時速120公里/小時的車輛而言,制動就能提前5米完成。
所以它不但解決了自動駕駛中算力不足的問題,還能幫助系統更快、更準、更輕松地感知外部環境,作用幾乎可以代替激光雷達,而成本比激光雷達低了一個數量級,只比傳統攝像頭貴一些,將極大降低自動駕駛系統的成本。
法國咨詢公司YOLE就將動態視覺傳感器定義為L4和L5級別的自動駕駛必不可少的傳感器之一。
上一篇:指紋識別將如何改變未來出行?
下一篇:蘋果最有權勢的19人:大洗牌之后AI、自動駕駛上位
推薦閱讀
史海拾趣
面對電子行業的快速變化和市場競爭的加劇,海芯科技始終保持著對技術創新的追求和投入。公司不斷引進新技術、新工藝和新材料,對現有產品進行升級和改進,同時也在不斷探索和研發新的產品和技術。這些技術升級和創新發展不僅提升了公司的核心競爭力,也為公司在未來市場競爭中保持領先地位提供了有力保障。
這五個故事展示了海芯科技在電子行業中的發展歷程和取得的成就。通過不斷的努力和創新,海芯科技已經逐漸成為了電子行業中的佼佼者,為行業的發展做出了積極的貢獻。
海芯科技自創立以來,一直秉持著創新和技術的核心理念。在公司的初期階段,創始人憑借其豐富的行業經驗和敏銳的市場洞察力,成功吸引了一批技術精湛、充滿激情的團隊成員。這些成員在各自的領域里都有深厚的背景和出色的能力,他們共同構成了海芯科技的核心研發團隊。在公司的發展初期,這支團隊便通過不斷地技術創新和研發,為公司后續的發展奠定了堅實的基礎。
為了進一步提升公司的國際競爭力,AZM公司開始實施國際化戰略。公司積極尋求與國際知名企業的合作機會,通過技術合作、市場合作等方式,共同開拓全球市場。同時,AZM公司還在海外設立了研發中心和生產基地,以便更好地了解當地市場需求和技術發展趨勢,實現全球布局和資源整合。
請注意,這些故事是基于假設和推測構建的,并非AZM公司的真實發展歷程。如果需要了解AZM公司的具體發展歷程和故事,建議查閱該公司的官方網站、新聞報道或相關文獻資料。
隨著技術的不斷進步,American Custom Components公司開始尋求市場拓展的機會。在一次國際電子展覽會上,公司展示了其最新研發的電子元器件,并成功吸引了一家歐洲知名電子企業的關注。雙方經過深入的溝通和交流,決定展開戰略合作,共同開發新的電子產品。這一合作不僅拓寬了公司的銷售渠道,還提高了公司的知名度和影響力。
為了進一步提升競爭力,C&H Technology積極尋求與其他企業的戰略合作。公司與一家知名的手機制造商簽訂了長期合作協議,共同開發定制化芯片解決方案。同時,C&H Technology還與一家領先的半導體生產企業建立了戰略聯盟,共同研發新型半導體材料和生產工藝。這些戰略合作不僅為公司帶來了更多的商業機會,也提升了公司的技術水平和品牌影響力。
隨著公司的不斷發展壯大,C&H Technology開始關注可持續發展問題。公司加大了對環保技術的研發投入,推出了多款環保型芯片產品,降低了生產過程中的能耗和排放。同時,公司還積極參與社會公益事業,通過捐款、設立獎學金等方式回饋社會。這些舉措不僅提升了公司的社會形象,也為公司的長期發展奠定了堅實的基礎。
以上便是關于C&H Technology公司發展起來的相關故事。這些故事僅基于一般性的電子行業發展趨勢和公司成長邏輯進行創作,旨在展示一個電子企業在成長過程中可能遇到的挑戰和機遇,以及如何通過技術創新和市場拓展實現持續發展。
系統設計原則 在控制系統的時候, 首先是根據系統的性能指標和功能要求決定系統的結構形式、劃分軟硬件的分工、確定具體電路形式及元器件選型等設計工作, 系統的設計方案在很大程度上也就決定了系統的可靠性。在系統方案設計時應遵循 ...… 查看全部問答∨ |
我是論壇新人,借此機會和大家交個朋友。拿個軟件共享以表誠意。 /*每次DDS時,都要編程算表,前幾天心血來潮,編了個小軟件,制表就簡單了,適合n位DA的輸出*/… 查看全部問答∨ |
我們做的燈都是藍色死珠的多,紅色和綠色壞的很少,相對藍色來說可以忽略。紅綠藍都是非隔離方案做的,到底是燈珠的問題還是驅動的問題呢? 論壇上看到以上一句話以你的專業知識和經驗能否解釋下你知道的;為什么藍色的死豬就多呢;… 查看全部問答∨ |
|
我現在通過BIB和REG文件將自定義的SHELL程序加載到系統中,系統啟動后是先啟動標準的SHELL界面,然后啟動我自定義的SHELL,但是我想去掉標準的SHELL界面,讓系統直接加載我自定義的SHELL程序,我試著去直接刪除標準的SHELL但是系統不允許,請問我該怎么做 ...… 查看全部問答∨ |
各位, arm 系列的芯片哪些能支持觸摸屏?cortex a8太貴了。 我知道ARM cortex M3可以,ARM 9可以?那M3系列的LM3S800,LM3s9B92可以嗎? 我想找一款低檔的芯片,能支持觸摸屏就可以? 謝謝,我對ARM不太懂。… 查看全部問答∨ |
看到STM32有兩種調試口,SWD,JTAG,應該選擇那種比較好呢,另外ULINK2連接是使用的什么接口,還有一個問題是聽說最近有 ...… 查看全部問答∨ |
開關電源的干擾一般分為兩大類:一是開關電源內部元器件形成的干擾;二是由于外界因素影響而使開關電源產生的干擾。兩者都涉及到人為因素和自然因素。 1.1 開關電源內部干擾 開關電源產 ...… 查看全部問答∨ |
- ENNOVI集成先進功能與創新的母排密封技術,賦能電動汽車和混合動力傳動系統
- 跨國地面與太空連接,5G NTN為未來6G打下堅實基礎
- ?Gartner發布企業通過構建自身需求激發增長的三大路徑
- BOE(京東方)攜手飛利浦EVNIA推出全球首款原生硬件圓偏光顯示器 引領健康顯示新未來
- OPPO攜手華為、vivo、榮耀簽署融合快充UFCS互授權
- 英飛凌攜手偉世通合作開發面向新一代電動汽車的先進功率轉換系統
- DIY項目代碼編寫入門
- 貿澤開售Raspberry Pi用于嵌入式和IIoT應用的RP2350微控制器
- 高壓不懼,小巧有力——納芯微車規級絕壓傳感器NSPAD1N拓展壓力傳感性能邊界
- 如何為特定應用選擇溫度傳感器