翻譯自——EEtimes, Tobi Delbruck

在過去的20年里，CMOS圖像傳感器(CIS)的投資大約有10億美元，這些美麗的成像儀每年都會帶來數(shù)十億美元的市場。隨著CIS成為一種商品，神經(jīng)形態(tài)的硅視網(wǎng)膜“事件相機(jī)”的發(fā)展停滯不前，直到三星和索尼最近將其最先進(jìn)的圖像傳感器處理技術(shù)推向市場，獲得了工業(yè)上的價(jià)值。

首先了解一下事件相機(jī)產(chǎn)品特點(diǎn)：

清晰：最高500萬像素的記錄圖像，還原細(xì)節(jié)更清晰；

高效： 由信號觸發(fā)上傳視頻/圖片，剔除冗余信息，追溯，分析更方便；

量大：事件相機(jī)內(nèi)部存儲空間達(dá)32G，可存儲35~1000個(gè)記錄

堅(jiān)固： 工業(yè)級設(shè)計(jì)，更適合于工業(yè)惡劣環(huán)境；

靈活： 可配合多種傳感器靈活使用，獨(dú)立個(gè)體安裝靈活；

簡單： 即插即用，瀏覽器訪問設(shè)置（Sopas Air），無需另裝軟件；

安全：只有授權(quán)方可訪問數(shù)據(jù)，防篡改。

我們在2006年ISSCC會議上推出的事件相機(jī)采用了350納米工藝，包括40微米的超大像素。即便如此，CIS像素還是下降了幾微米左右。2017年，三星發(fā)布了一篇ISSCC論文，使用的是9微米像素、背光VGA動(dòng)態(tài)視覺傳感器(DVS)，這是基于他們的90-mn CIS芯片。與此同時(shí)，insi公司發(fā)布了一款巧妙的雙強(qiáng)度+ DVS像素的產(chǎn)品，其像素只有7.2 um。

三星和索尼都已經(jīng)建立了基于堆疊技術(shù)的5um以下像素的DVS，在堆疊技術(shù)中，背面發(fā)光的55納米光電傳感器晶圓被銅撞擊到28納米的讀出電路readout wafer上。

工業(yè)發(fā)展也帶來了事件讀出速度的驚人提高。這些巧妙的設(shè)計(jì)使DVS像素降至標(biāo)準(zhǔn)的全球快門機(jī)器視覺和自動(dòng)相機(jī)像素大小。這意味著DVS有機(jī)會在“百萬像素競爭”中成為一種可行的大規(guī)模生產(chǎn)視覺傳感器技術(shù)。

神經(jīng)形態(tài)硅視網(wǎng)膜的發(fā)展是一個(gè)很好的例子。硅視網(wǎng)膜事件相機(jī)的發(fā)展可以追溯到1989年福島國彥的照相機(jī)，以及Carver Mead 和Misha Mahowald在20世紀(jì)90年代初在加州理工學(xué)院的研究。

我作為加州理工學(xué)院的研究生加入了這個(gè)項(xiàng)目，Mahowald和Mead是我的導(dǎo)師。我們神經(jīng)形態(tài)工程師相信我們可以制造出像生物眼睛一樣工作的相機(jī)。經(jīng)過10年的早期工作，我們的“硅視網(wǎng)膜”像素實(shí)在是太大了(也就是說太貴了)，它們拍出來的照片很糟糕。

同樣重要的是，它們沒有對CIS提供足夠的優(yōu)勢。

所有這些早期發(fā)展都是在獨(dú)聯(lián)體不斷改善的同時(shí)發(fā)生的。當(dāng)我和Patrick Lichtsteiner提出DVS像素電路時(shí)，我們在歐洲項(xiàng)目“魚子醬”(CAVIAR)的工作中出現(xiàn)了某種突破。Anton Civit幫助我制作了第一臺USB DVS相機(jī)。我們賣了幾百個(gè)128-x-128像素的DVS相機(jī)給神經(jīng)形態(tài)社區(qū)的早期采用者，他們不是ASIC的開發(fā)者。這種像素架構(gòu)是所有主要參與者的所有后續(xù)代的基礎(chǔ)(即使他們在自己的網(wǎng)站上沒有這樣說)。

DVS比以前的硅視網(wǎng)膜和標(biāo)準(zhǔn)相機(jī)帶來了一個(gè)“獨(dú)特的銷售亮點(diǎn)”，因?yàn)樗Y(jié)合了稀疏，快速的峰值輸出，可靠地響應(yīng)低對比度的自然場景，同時(shí)提供了巨大的動(dòng)態(tài)范圍和速度。早期的DVS攝像機(jī)允許神經(jīng)形態(tài)研究人員利用這項(xiàng)技術(shù)來確定它的潛力。

十年后，傳統(tǒng)的機(jī)器視覺和機(jī)器人研究人員也做了同樣的事情。如果沒有我的學(xué)生Patrick Lichtsteiner、Raphael Berner和Christian Brandli，這一切都不會發(fā)生。他們現(xiàn)在領(lǐng)導(dǎo)著幾家創(chuàng)業(yè)公司。另一個(gè)關(guān)鍵因素是來自UZH和ETH對基礎(chǔ)技術(shù)發(fā)展的長期支持，還有來自歐洲委員會未來和新興技術(shù)計(jì)劃的資金。

在工業(yè)中的應(yīng)用

在工業(yè)應(yīng)用領(lǐng)域，事件相機(jī)（EventCam）尤其適合如下的場景：

安全區(qū)域闖入追溯

在工業(yè)生產(chǎn)的時(shí)候，安全掃描儀/安全光幕等等安全產(chǎn)品是作為人身保障的重要因素。由于工廠環(huán)境復(fù)雜，偶發(fā)人員誤闖入或物體掉落到安全產(chǎn)品的檢測區(qū)域內(nèi)，進(jìn)而導(dǎo)致報(bào)警信號產(chǎn)生，甚至影響正常生產(chǎn)。借助事件相機(jī)（EventCam）便可將這報(bào)警信號產(chǎn)生的前后的過程記錄并保存下來，方便后方管理人員了解報(bào)警信號產(chǎn)生原因，改進(jìn)流程達(dá)到提高生產(chǎn)效率。

倒包故障記錄追溯

包裝輸送帶上倒包故障讓人相當(dāng)頭疼，配合SICK的智能傳感器捕捉到倒包故障信號，事件相機(jī)（EventCam）記錄倒包故障前后情景，為后續(xù)工藝分析改善提供有力支持，減少故障提高產(chǎn)能。

AGV碰撞記錄追溯

在AGV/AGC上，事件相機(jī)（EventCam）由掃描儀/光電接近等傳感器觸發(fā)，記錄保存其停車/碰撞的前后情景，為AGV/AGC行駛提供更有質(zhì)量的行駛記錄支持。

機(jī)械手裝配故障記錄

機(jī)械手在裝配芯片到工件上時(shí)，機(jī)械手需要根據(jù)工件的尺寸及方向調(diào)整它的姿勢，以便正確將芯片放到工件上。對于偶有芯片掉落或者裝配不正確時(shí)候，設(shè)備發(fā)出報(bào)警信號，事件相機(jī)（EventCam）借助該信號記錄其故障產(chǎn)生前和產(chǎn)生后的情景，便于后方管理人員快速找到和清晰了解故障的原因。即使故障偶然發(fā)生，也不會漏掉任何一個(gè)故障場景。

設(shè)備內(nèi)部運(yùn)行監(jiān)控記錄

對于監(jiān)控設(shè)備運(yùn)行狀態(tài)，尤其不方便人員觀察的場合（如被外殼遮擋的設(shè)備內(nèi)部/有強(qiáng)光傷害人眼等等），事件相機(jī)可置于設(shè)備內(nèi)部，幫助人員觀察。配合設(shè)備的信號，可以輕松追溯/還原關(guān)鍵的情景信息。

輸送帶包裹條碼檢測監(jiān)控記錄

輸送帶上包裹的條碼讀取，偶會發(fā)生讀碼設(shè)備無法讀取條碼的情況。借助條碼閱讀器上的報(bào)警信號，事件相機(jī)（EventCam）可記錄無法讀取條碼的情景，便于工程師了解原因，為后續(xù)分析和工藝改善提供支持。

無人工廠

事件相機(jī)（EventCam）置于無人工廠的關(guān)鍵位置，借助外部觸發(fā)信號（如故障/啟動(dòng)等信號），記錄和上傳其信號發(fā)生前后的視頻/照片信息，并上傳到遠(yuǎn)端的服務(wù)器上。為管理人員對工廠設(shè)備工藝/流程/故障等提供快速，真實(shí)的場景記錄，便于改善生產(chǎn)，提高效率。

日益增長的生態(tài)系統(tǒng)

與CMOS圖像傳感器類似，事件相機(jī)初創(chuàng)公司insi(被索尼收購)、iniVation(負(fù)責(zé)iniLabs任務(wù))、上海賽睿科技(CelePixel)和高端公司Prophesee也已成立，并出售自己的產(chǎn)品。其他人肯定會效仿。

最近，主流的計(jì)算機(jī)視覺研究人員(主要通過學(xué)術(shù)合作或我們的神經(jīng)形態(tài)研討會)介紹了事件相機(jī)，并發(fā)表了來自事件相機(jī)的引人注目的結(jié)果。基于事件對亮度變化敏感的DVS在這些社區(qū)已經(jīng)成為“事件相機(jī)”的同義詞。盡管最初的神經(jīng)形態(tài)定義包含了更廣泛的一類視覺傳感器，能夠模仿生物視網(wǎng)膜的計(jì)算能力，但事實(shí)就是如此。

在過去的30年里，事件相機(jī)技術(shù)穩(wěn)步發(fā)展。如果COVID-19的影響對研究不是很大的話，我們可能會在未來幾年看到這些傳感器的大規(guī)模生產(chǎn)(消費(fèi)者可以在商店貨架上找到三星的DVS產(chǎn)品)。從設(shè)備物理到CMOS電路設(shè)計(jì)，再到由人工智能驅(qū)動(dòng)的機(jī)器人系統(tǒng)，我們一直在不同的層面上玩DVS，從中獲得了很多樂趣。

現(xiàn)在我們把DVS的開發(fā)主要看作是一個(gè)工業(yè)企業(yè)，但是在過去的5年里，正是對稀疏計(jì)算的高度關(guān)注導(dǎo)致我們在硬件AI加速器中開發(fā)了激活稀疏性。在我們的大腦中，這些人工智能加速器只在需要的時(shí)候計(jì)算。這種方法被神經(jīng)形態(tài)工程師推廣了幾十年，現(xiàn)在終于在主流電子學(xué)中得到了應(yīng)用。

基本的神經(jīng)形態(tài)組織原理，就像卡弗·米德可能說的那樣，是只在需要的時(shí)候在那里計(jì)算。