- 首頁(yè)
- 民文
- English
- 舉報(bào)專區(qū)
- 登錄
功耗毫瓦級(jí) 基于注意力機(jī)制的類腦芯片問世
人民網(wǎng)北京6月5日電 (記者趙竹青)人腦能夠運(yùn)行復(fù)雜且龐大的神經(jīng)網(wǎng)絡(luò),總功耗卻僅約20瓦,遠(yuǎn)小于現(xiàn)有的人工智能系統(tǒng)。因此,在算力比拼加速、能耗日益攀升的今天,借鑒人腦的低功耗特性發(fā)展新型智能計(jì)算系統(tǒng)成為極具潛力的方向。近日,中國(guó)科學(xué)院自動(dòng)化研究所李國(guó)齊、徐波課題組與時(shí)識(shí)科技公司等單位合作設(shè)計(jì)了一套能夠?qū)崿F(xiàn)動(dòng)態(tài)計(jì)算的算法—軟件—硬件協(xié)同設(shè)計(jì)的類腦神經(jīng)形態(tài)SOC(System on Chip,系統(tǒng)級(jí)芯片)“Speck”,展示了類腦神經(jīng)形態(tài)計(jì)算在融合高抽象層次大腦機(jī)制時(shí)的天然優(yōu)勢(shì),相關(guān)研究在線發(fā)表于《自然·通訊》。
該研究提出了“神經(jīng)形態(tài)動(dòng)態(tài)計(jì)算”的概念,設(shè)計(jì)了一種類腦神經(jīng)形態(tài)芯片“Speck”,來實(shí)現(xiàn)基于注意力機(jī)制的動(dòng)態(tài)計(jì)算。該芯片在硬件層面做到“沒有輸入,沒有功耗”,在算法層面做到“有輸入時(shí),根據(jù)輸入重要性程度動(dòng)態(tài)調(diào)整計(jì)算”,從而在典型視覺場(chǎng)景任務(wù)功耗可低至0.7毫瓦,進(jìn)一步挖掘了神經(jīng)形態(tài)計(jì)算在性能和能效上的潛力。
Speck是一款異步感算一體類腦神經(jīng)形態(tài)SoC,采用全異步設(shè)計(jì),在一塊芯片上集成了動(dòng)態(tài)視覺傳感器(DVS相機(jī))和類腦神經(jīng)形態(tài)芯片,具有極低的靜息功耗(僅為0.42毫瓦)。Speck能夠以微秒級(jí)的時(shí)間分辨率感知視覺信息,并以全異步方式設(shè)計(jì)替代了全局時(shí)鐘控制信號(hào),避免時(shí)鐘空翻帶來的能耗開銷,僅在有事件輸入時(shí)才觸發(fā)稀疏加法運(yùn)算。
針對(duì)脈沖神經(jīng)網(wǎng)絡(luò)(SNN)在更高層面,比如時(shí)間維度中不能根據(jù)輸入難易度調(diào)整其脈沖發(fā)放等“動(dòng)態(tài)失衡”問題,該研究基于注意力機(jī)制的神經(jīng)形態(tài)脈沖動(dòng)態(tài)計(jì)算框架,在多種粒度上實(shí)現(xiàn)對(duì)不同的輸入進(jìn)行有區(qū)分地動(dòng)態(tài)響應(yīng);同時(shí)Speck軟件工具鏈Sinabs編程框架支持動(dòng)態(tài)計(jì)算SNN算法訓(xùn)練和部署。實(shí)驗(yàn)結(jié)果表明,注意力機(jī)制可使得SNN具備動(dòng)態(tài)計(jì)算能力,即根據(jù)輸入難易度調(diào)整其脈沖發(fā)放模式解決“動(dòng)態(tài)失衡”問題,在顯著降低功耗的同時(shí),提升任務(wù)性能。在DVS128 Gesture數(shù)據(jù)集上,融合脈沖動(dòng)態(tài)計(jì)算的Speck在任務(wù)精度提升9%的同時(shí),平均功耗由9.5毫瓦降低至3.8毫瓦。
該工作的實(shí)踐證實(shí),高、低抽象層次大腦機(jī)制的融合能進(jìn)一步激發(fā)類腦計(jì)算潛力,這為以后將大腦進(jìn)化過程中產(chǎn)生的各種高級(jí)神經(jīng)機(jī)制融合至神經(jīng)形態(tài)計(jì)算提供了積極啟發(fā)。
分享讓更多人看到
推薦閱讀
- 功耗毫瓦級(jí) 基于注意力機(jī)制的類腦芯片問世
- 人民網(wǎng)北京6月5日電 (記者趙竹青)人腦能夠運(yùn)行復(fù)雜且龐大的神經(jīng)網(wǎng)絡(luò),總功耗卻僅約20瓦,遠(yuǎn)小于現(xiàn)有的人工智能系統(tǒng)。因此,在算力比拼加速、能耗日益攀升的今天,借鑒人腦的低功耗特性發(fā)展新型智能計(jì)算系統(tǒng)成為極具潛力的方向。…
- 院士專家共話新質(zhì)生產(chǎn)力與智能產(chǎn)業(yè)發(fā)展
- 人民網(wǎng)北京6月5日電 (記者趙竹青)6月2日,由中國(guó)自動(dòng)化學(xué)會(huì)、北京市科學(xué)技術(shù)協(xié)會(huì)主辦的2024國(guó)家新質(zhì)生產(chǎn)力與智能產(chǎn)業(yè)發(fā)展會(huì)議在北京舉辦,以“追新逐質(zhì),智創(chuàng)未來”為主題,10位院士及百余位學(xué)術(shù)精英與會(huì),圍繞“加快培育和壯大新質(zhì)生產(chǎn)力,塑造高質(zhì)量發(fā)展新動(dòng)能新優(yōu)勢(shì)”等話題進(jìn)行研討分享。 中國(guó)工程院院士,中國(guó)自動(dòng)化學(xué)會(huì)會(huì)士、理事長(zhǎng),西安交通大學(xué)教授鄭南寧表示,新質(zhì)生產(chǎn)力正成為驅(qū)動(dòng)經(jīng)濟(jì)社會(huì)的重要引擎!
熱門排行
- 1數(shù)讀中國(guó) | 突破9萬列!中歐班列為經(jīng)…
- 2全國(guó)麥?zhǔn)彰娣e達(dá)1.2億畝 黃淮海夏糧主…
- 3進(jìn)一步深化物流降本增效 經(jīng)濟(jì)運(yùn)行底盤持…
- 4數(shù)字賦能“智造”升級(jí) 我國(guó)工業(yè)經(jīng)濟(jì)穩(wěn)中…
- 5細(xì)化節(jié)能降碳量化目標(biāo) 扎實(shí)推動(dòng)經(jīng)濟(jì)高質(zhì)…
- 6新一輪購(gòu)買力平價(jià)結(jié)果并沒有改變中國(guó)作為…
- 7中國(guó)新能源產(chǎn)業(yè)活力涌動(dòng) 優(yōu)質(zhì)產(chǎn)能助力全…
- 8數(shù)讀中國(guó) | 四組數(shù)據(jù)看知識(shí)產(chǎn)權(quán)事業(yè)發(fā)…
- 92023年度個(gè)稅匯算6月底截止 稅務(wù)部…
- 10全國(guó)已收獲冬小麥面積1.26億畝(新數(shù)…
提供新聞線索