應(yīng)用

技術(shù)

物聯(lián)網(wǎng)世界 >> 物聯(lián)網(wǎng)新聞 >> 物聯(lián)網(wǎng)熱點新聞
企業(yè)注冊個人注冊登錄

復(fù)旦博士開發(fā)類視網(wǎng)膜傳感器:將無人車視覺感光性能提升 1 萬億倍,已被華為收編

2022-02-22 10:45 智能車參考

導(dǎo)讀:所謂高感光范圍的“人造視網(wǎng)膜”,核心是利用電荷陷阱態(tài)對電子的捉放效應(yīng)以及二硫化鉬本身的“時間 —— 抑制激勵”作用,從而達(dá)到人為控制感光半導(dǎo)體電導(dǎo)率的目的。

脫口秀演員搞自動駕駛?不但搞出了成果,還被 Nature 在研究亮點(RESEARCH HIGHLIGHT)專欄報道!

香港理工大學(xué)博士后、深圳某脫口秀俱樂部現(xiàn)役演員廖付友年初八在《自然?電子》上以一作身份發(fā)表名為 Bioinspired in-sensor visual adaptation for accurate perception 的文章。文章介紹了一種新型傳感器,模仿了人類視網(wǎng)膜工作原理,有效感知范圍達(dá)到 199dB。

這是什么概念?現(xiàn)在絕大部分智能汽車上的自動駕駛系統(tǒng)在弱光、雨雪條件下能力大打折扣,主要原因之一就是常用的硅基 CMOS 圖像傳感器通常只有 70dB 的感知范圍,遠(yuǎn)低于自然場景的光強變化范圍。而新的類視網(wǎng)膜傳感器,直接將感知范圍提升 1 萬億倍!大大增強自動駕駛在感知端的準(zhǔn)確性。

而且這位業(yè)余說脫口秀的廖付友,已被華為收編,確定即將入職繼續(xù)從事半導(dǎo)體研究。

有效感光范圍提升 1 萬億倍!

在地球普遍環(huán)境中,自然光強度的分布超過 280dB,遠(yuǎn)超民用級別 CMOS 感光元件的 70dB 范圍。

具體到自動駕駛上,且不論算法性能,攝像頭捕捉的圖像數(shù)據(jù)有效范圍就大大縮小,不但是弱光會影響識別,強光也不行。比人眼強,但應(yīng)付自然光還是不夠。

從這個角度看,也能理解特斯拉代表的純視覺自動駕駛路線,和國內(nèi)廠商走的激光雷達(dá) + 視覺混合路線的緣由。一個是死磕算法提高圖像識別準(zhǔn)確度,另一個是通過雷達(dá)點云圖彌補圖像數(shù)據(jù)的不足。手段不同,但問題根源都在圖像捕捉的限制。

而廖付友博士所在的香港理工大學(xué)團隊,利用二硫化鉬作為基礎(chǔ)材料,模仿人類視網(wǎng)膜的工作原理,設(shè)計出了一種新的光傳感器,能夠有效感知 199dB 范圍的光線。

在實驗中,科研人員分別于弱光和強光背景下映出數(shù)字“8”,再由環(huán)境光照射背景板:

之后,將感光信號輸入神經(jīng)網(wǎng)絡(luò)進行識別:

實驗結(jié)果表明,ANN 網(wǎng)絡(luò)對于數(shù)字“8”的識別準(zhǔn)確度穩(wěn)定在 97% 左右,同等條件下使用 CMOS 傳感器的系統(tǒng)幾乎無法識別。

上圖中有目標(biāo)識別率有明顯的隨時間漸變的趨勢,這就是所謂“類視網(wǎng)膜”的核心?;诙蚧f的感光陣列無論對于弱光還是強光都會隨時間適應(yīng),就像人眼會逐漸適應(yīng)光照強度一樣。輸出的圖像信號也會從剛開始的一團黑或白逐漸清晰顯出目標(biāo)特征。

好了,我知道你們想搞清楚 1 萬億倍是怎么來的,但首先還要解釋一下光功率的概念。dB 是指光功率的單位,表示光在單位時間內(nèi)所做的功。簡單理解,光功率大小直接反映了光照的強弱。

一般光功率單位常用為毫瓦 (mw) 和分貝毫瓦 (dBm),其中兩者關(guān)系為:1mw=0dBm。但工程學(xué)中,dB 是一個純計數(shù)單位,代表兩個功率的比值大小,具體數(shù)值為 10*log (A / B)。也就是說,工程上 dB 只有加減,實際代表了兩個功率相除,得出的結(jié)果是增益或減益的倍數(shù)。

所以按照這樣計算,港理工團隊的新型類視網(wǎng)膜傳感器,有效工作范圍比傳統(tǒng) CMOS 圖像傳感器提升了 129dB,也就是至少提升 1012 倍。1 萬億倍!會說脫口秀的科研人員果然強。

提升 1 萬億倍如何實現(xiàn)?

人眼的光接收細(xì)胞感知范圍比較有限,只有 40dB。但是人眼的視覺適應(yīng)功能讓我們可以感知和識別不同光照條件下的各種物體,哪怕是快速在明暗差別很大環(huán)境中轉(zhuǎn)換。

人眼應(yīng)對光線明暗變化的機制,關(guān)鍵是水平細(xì)胞和光接收細(xì)胞的結(jié)構(gòu)。

其中,視錐細(xì)胞在強光條件下敏感度更高,視桿細(xì)胞在暗光條件下敏感度更高。所以光照條件發(fā)生變化時,視網(wǎng)膜的水平細(xì)胞會控制感光點在視錐和視桿細(xì)胞之間的轉(zhuǎn)換、以及光色素的產(chǎn)生和消失來適應(yīng)。

基于此,團隊研發(fā)出一種基于二硫化鉬底柵光電晶體管陣列的仿生視覺適應(yīng)傳感器。

在二硫化鉬表面,科研人員有意引入電荷陷阱態(tài),使得光信息的存儲成為可能。

(電荷陷阱態(tài):電子被不飽和鍵所捕獲。)

而通過調(diào)節(jié)柵極電壓,這陷阱態(tài)可以捕獲或釋放通道的電子。

(通道:施加電壓后,電子會被排斥或吸引從而形成翻轉(zhuǎn)層,導(dǎo)通半導(dǎo)體源級和汲極,形成通道。)

在不同的柵極電壓下,通道的電子可以被捕獲或釋放,這就可以定量地動態(tài)調(diào)節(jié)器件的電導(dǎo)率。所以光線強弱變化時,只需要調(diào)節(jié)柵極電壓就能實現(xiàn)感光元件的范圍調(diào)整。

另外,二硫化鉬材料本身具有獨特性質(zhì),根據(jù)柵極電壓不同,會隨時間對電流產(chǎn)生激勵或抑制作用。這一點正好模擬了視網(wǎng)膜光色素的產(chǎn)生和消失。

所謂高感光范圍的“人造視網(wǎng)膜”,核心是利用電荷陷阱態(tài)對電子的捉放效應(yīng)以及二硫化鉬本身的“時間 —— 抑制激勵”作用,從而達(dá)到人為控制感光半導(dǎo)體電導(dǎo)率的目的。

在把這項技術(shù)應(yīng)用到自動駕駛的視覺傳感器中,無需經(jīng)過后端圖像處理器或云端信息處理,就能大大提升了系統(tǒng)的信息處理效率和識別準(zhǔn)確度。

另外人臉識別也是一個重要應(yīng)用場景,無論是白天的強光還是夜間的黑暗,視覺傳感器能根據(jù)背景光強度,去調(diào)節(jié)光靈敏度從而準(zhǔn)確識別人臉。

在太空探測領(lǐng)域,把具有視覺適應(yīng)功能的視覺傳感器應(yīng)用在探測設(shè)備上,除了正常光照條件下的感知外,還可以在極端光照條件下(極弱或者極強光)探測外界環(huán)境和識別目標(biāo)。

作者介紹

一作廖付友,博士畢業(yè)于復(fù)旦大學(xué),目前在香港理工大學(xué)做博士后。主要研究方向為半導(dǎo)體器件與工藝。他已經(jīng)確定將入職華為,繼續(xù)半導(dǎo)體方面研究。

廖付友除了是一名科研工作者,還是一名業(yè)余脫口秀演員,在深圳某俱樂部駐場演出。

本文通訊作者柴揚副教授,博士畢業(yè)于香港科技大學(xué)。主要從事低維材料的電子器件及其在能源領(lǐng)域應(yīng)用的研究工作,其主要研究方向包括低維材料的可控生長與電子器件,能量轉(zhuǎn)換與存儲,以及柔性電子器件。

論文地址:

https://www.nature.com/ articles / s41928-022-00713-1