電子發燒友網報道(文/李彎彎)事件相機最早誕生于1990年,事件那時候,相機許多研究人員探討動物感知環境的作原方式,發現對變化更為敏感,理和所以設計出了實驗室用的應用事件相機。2008年,場景誕生了第一款商用的事件事件相機。如今國內外都有企業和機構進行事件相機的相機研究。
事件相機的作原工作原理和優勢
傳統相機,無論是理和CMOS傳感器,還是應用CCD傳感器,亦或是場景RGBD相機,都有一個參數:幀率。事件它們是相機以恒定的頻率拍攝獲取圖像。這樣,作原即使幀率能夠達到1KHz,那也具有1ms的延時。所以傳統相機存在一定的延遲問題。
此外,傳統相機需要通過一定時間的曝光,使感光器件積累一定的光子,那么在曝光時間之內如果物體在高速運動,則會產生模糊,這也是傳統相機的一個問題。
另外,傳統相機的攻臺范圍較低,具體表現為在光線極差或者亮度極高時,相機獲取的信息有限。這些問題極大的限制了傳統相機在一些應用場景中的應用。
而事件相機則可以很好的解決這些問題。事件相機,也稱神經形態像機,或動態視覺傳感器(DVS,Dynamic Vision Sensor),是一種能夠響應局部亮度變化的成像傳感器。
事件相機不像常規相機那樣使用快門捕獲圖像。相反,事件相機中的每個像素都獨立且異步地運行,并在發生亮度變化時輸出這些變化,否則保持沉默。
下圖可以非常形象的展示出事件相機和傳統相機在工作原理上的不同。左側:假設拍攝的是一個圓盤轉動(圓盤此時逆時針轉動一段時間然后停止)。右側:上面是傳統相機,圓盤停止時,標準相機輸出不間斷,然而這些信息其實不是我們關注信息。下面是事件相機,其輸出信息為亮度動態變化的位置,并且當圖片無變化時即為no events,無輸出。
此前有業內人士對電子發燒友表示,基于這樣的工作原理,事件相機有幾個典型的特點:一是它的動態范圍非常高,可以達到140dB;二是因為它只輸出有效信息,不輸出無效信息,它的數據量非常小;三是它的速度非常快,可以達到1/10000s,甚至更高。
因為這些特點,事件相機可適用于傳統相機難以解決的一些場景中。比如城區場景中的鬼探頭,傳統相機在面對橫向的鬼探頭場景時,無法快速做出反應,而事件相機可以更快感知到危險信號;再比如高速場景下的避障,車輛在高速上快速行駛時,遇到前方路面有一個輪胎,傳統相機不能及時做出反應,事件相機可以依靠低時延優勢,快速識別并做出避障的動作。
事件相機的研究企業和應用
目前,不少公司都在致力于事件相機的發展,包括iniVation、prophesee(普諾飛思)、索尼(收購Insightness)、芯侖光電(韋爾股份子公司)、銳思智芯(Alpsentek)等。
iniVation起源于瑞士,由基于事件視覺的發明者創立。該公司已經推出多款產品,熱門型號包括:DAVIS346 Color/Mono、DVXplorer、DVXplorer Lite/Mini、Stereo Kit等。
iniVation的動態視覺平臺可為諸多應用和行業提供支持和解決方案,包括物聯網(超低功耗監控和智慧城市)、自動駕駛(車輛測距、SLAM和乘員監控)、機器人技術(場景理解與定位)、工業視覺(過程監控和基礎設施檢測)等。
Prophesee于2014年成立于法國巴黎,專注于神經擬態視覺傳感技術,目前基于事件的視覺技術推出多款傳感器。其研發的普諾飛思原視覺(Metavision)傳感器可應用于手機、自動駕駛、工業自動化、物聯網、AR/VR、醫療設備等領域。
比如在智能駕駛領域,Xperi旗下子公司DTS基于普諾飛思原視覺(Metavision)傳感技術提供的事件數據,開發了基于神經擬態視覺系統的駕駛員監控解決方案(DMS),提供了更優的微光性能,以及新的檢測功能,如眼跳或微表情檢測等。再比如,高級駕駛輔助軟件開發商Terranet AB與梅賽德斯-奔馳共同開發的VoxelFlow傳感器,采用了普諾飛思原視覺(Metavision)傳感器,可掃描車輛周圍半徑為40米的區域,反應時間為3毫秒。
銳思智芯成立于2019年,擁有一支兼備芯片、算法、軟件和硬件研發經驗與能力的團隊,核心專家來自全球頂尖機構。在高端視覺傳感器領域擁有超過16年的技術積累,在事件相機領域擁有超過8年的研究經驗。
2021年10月,銳思智芯(Alpsentek)發布了首款融合仿生事件視覺傳感器芯片——ALPIX-Pilatus(簡稱 ALPIX-P)。專為機器感知設計的傳感器,可廣泛應用于機器人、智能手機、無人駕駛、無人機、安防等場景。
ALPIX-P 采用銳思智芯自主研發的 Hybrid Vision融合式仿生事件視覺傳感技術,即將仿生事件視覺技術與傳統圖像傳感技術在像素級別進行融合。芯片可以在傳統圖像傳感器模式和仿生事件相機模式之間快速切換,實現事件相機與 CIS 相機功能 “二合一”。
在圖像模式下,ALPIX-P 是一款最高幀率為 120 幀的全局曝光傳感器,其圖像質量與現有的商化的 CIS 輸出的圖像質量一致,兼容現有成熟的視覺系統。在仿生事件相機模式下,ALPIX-P 具有超高幀率,高有效信息占比,大動態范圍的特點。
小結
事件相機的核心是神經擬態,神經擬態技術最早源于瑞士蘇黎世聯邦理工學院(ETH Zurich)。目前研究的企業主要有兩個方向,一是傳感器,即事件相機,就是文章提到的幾家公司;另一個是神經擬態計算,主要是SoC芯片,如九天睿芯、時識科技。目前從兩個方向來看,神經擬態在產品和應用上都有不錯的進展。