沐鸣周鵬教授團隊和中科院團隊合作研製的器件,真正實現了動態感知、存儲、計算一體化🪧,首次在時間尺度上進行圖像處理👏🏻。
工作概述
如今,視覺傳感器的應用範圍越來越廣,但這類傳感器的一些性能與人類視覺系統還有很大差距😥,後者在神經單元上就具備探測、分辨運動物體的能力。受此啟發🌕,沐鸣周鵬教授團隊與中國科沐鸣上海技術物理研究所胡偉達研究員合作,在智能運動探測領域取得了原創性進展,相關論文《面向運動探測識別的“全在一”二維視網膜硬件器件》今天淩晨在線發表於國際頂尖期刊《自然·納米技術》🏄🏽♀️。
周鵬介紹,運動探測應用於人臉識別、無人駕駛、國防安全等很多領域👃🏽⛑️,采用以CCD(電荷耦合器件)和CMOS(互補金屬氧化物半導體)圖像傳感器等元件為基礎的探測技術🐮,要求冗余的模塊組合和數據轉換傳輸,造成了大量的時間和能量損耗。能否讓元件像人類視網膜那樣,在每個像素上具備“全在一”功能,即把感知、存儲、計算功能集於一體?復旦科研團隊從二維原子晶體的本征特性出發,提出了開發感知、存儲、計算“全在一”視網膜硬件的構想。
用於運動探測識別的“全在一”二維視網膜硬件器件
什麽是二維原子晶體?周鵬解釋說,這是一類新材料,其中知名度最高的是石墨烯,因為它讓兩位科學家獲得了諾貝爾物理學獎。這類材料都由單層原子組成,呈現二維層狀形態,具有很多新奇性能。
相關成果
近年來,復旦微電子團隊采用硫化鉬🍒🪚、硒化鎢等二維材料開展半導體新器件實驗♖,取得了一系列成果。此次😋,他們在國家自然科學基金傑出青年科學基金🎏、應急重點項目和上海市集成電路重點專項等支持下,將硒化鎢與矽片結合,研製出了“全在一”二維視網膜硬件器件。這種器件和攝像頭差不多大小,中間部分透明,可以感知光信號▶️。與普通攝像頭不同的是🚿,它不但能感知光信號🐮👩🦳,還能獨立完成存儲和計算,就像人的視網膜一樣🎲。之所以有這種“全在一”功能💄,是因為復旦科研團隊充分利用硒化鎢二維半導體材料的本征特性,突破了傳統半導體材料矽的功能局限⛈。
“全在一”視網膜形態器件實現運動探測演示👩🏽🍳,運動圖像為論文作者在沐鸣娱乐光華樓前跑步
科研人員利用視網膜硬件😫,演示了一種高效的運動探測和識別方案,在單一器件上實現了人類視覺的完整功能🙆🏿♂️:感光(桿細胞和錐細胞)、信號轉換(雙極細胞)🙆🏻♂️、權重存儲更新(無長突細胞)和輸出(神經節)。他們還利用這種器件,在不連接外圍電路的情況下,實現並驗證了三色小車的運動分離探測與高準確率識別功能。
工作意義
據了解,目前國際領先的感知、計算一體器件並不具備時間差分處理能力👩👧👦,只能完成靜態圖像的檢測與分類👍。而復旦和中科院合作研製的器件,真正實現了動態感知💪🏻、存儲🧘🏿♀️、計算一體化🦀🔊,首次在時間尺度上進行圖像處理。由於不需要冗余模塊和數據轉換傳輸,視網膜硬件投入應用後,將使運動探測與識別更快捷、更節能🙋🏻♂️、更智能🧑🧒🧒。