自動(dòng)化所成功將腦神經(jīng)系統(tǒng)原理應(yīng)用于類腦脈沖神經(jīng)網(wǎng)絡(luò)

開啟輔助訪問設(shè)為首頁(yè)贊助得金幣注冊(cè)指南網(wǎng)站導(dǎo)航

請(qǐng) 登錄后使用快捷導(dǎo)航
沒有賬號(hào)？注冊(cè)新賬號(hào)

曉木蟲

自動(dòng)化所成功將腦神經(jīng)系統(tǒng)原理應(yīng)用于類腦脈沖神經(jīng)網(wǎng)絡(luò)

摘要: 　　最近，中國(guó)科學(xué)院自動(dòng)化學(xué)習(xí)所類腦智能學(xué)習(xí)中心學(xué)習(xí)員曾毅與團(tuán)隊(duì)成員在一項(xiàng)學(xué)習(xí)中總結(jié)歸納了七條受腦啟發(fā)的研究準(zhǔn)則，并成功應(yīng)用于改善脈沖神經(jīng)網(wǎng)絡(luò)。通過組合不同的受腦啟發(fā)的規(guī)則，實(shí)驗(yàn)學(xué)習(xí)驗(yàn)證了：隨著越來越 ...

　　最近，中國(guó)科學(xué)院自動(dòng)化學(xué)習(xí)所類腦智能學(xué)習(xí)中心學(xué)習(xí)員曾毅與團(tuán)隊(duì)成員在一項(xiàng)學(xué)習(xí)中總結(jié)歸納了七條受腦啟發(fā)的研究準(zhǔn)則，并成功應(yīng)用于改善脈沖神經(jīng)網(wǎng)絡(luò)。通過組合不同的受腦啟發(fā)的規(guī)則，實(shí)驗(yàn)學(xué)習(xí)驗(yàn)證了：隨著越來越多的、經(jīng)過仔細(xì)選擇的、受腦啟發(fā)的規(guī)則的引入，深層脈沖神經(jīng)網(wǎng)絡(luò)能夠得到越來越好的分類性能。
　　雖然相比傳統(tǒng)的人工神經(jīng)元而言，脈沖神經(jīng)元已具備更扎實(shí)的生物真實(shí)性，然而傳統(tǒng)的脈沖神經(jīng)網(wǎng)絡(luò)模型僅僅抓住了腦信息處理過程中初步的部分研究訓(xùn)練法則。由于生物腦在研究過程中協(xié)同了若干個(gè)法則，因此不能奢望僅僅采用較少的法則設(shè)計(jì)的類腦脈沖神經(jīng)網(wǎng)絡(luò)模型就能夠達(dá)到甚至超越生物腦的各種研究能力。
　　學(xué)習(xí)團(tuán)隊(duì)提出的7條研究準(zhǔn)則都來源于對(duì)生物腦的實(shí)驗(yàn)學(xué)習(xí)，并各自從不同的側(cè)面反映了生物網(wǎng)絡(luò)的研究特性，如神經(jīng)元的動(dòng)態(tài)分配、突觸的自適應(yīng)生長(zhǎng)和消亡機(jī)制、不同的突觸可塑性研究機(jī)制(如不同類型的時(shí)序依賴突觸可塑性)、網(wǎng)絡(luò)背景噪聲對(duì)研究的調(diào)控機(jī)制、興奮性和抑制性神經(jīng)元的比例對(duì)研究的調(diào)節(jié)機(jī)制等。
　　在這些研究準(zhǔn)則中，神經(jīng)元的動(dòng)態(tài)分配、突觸的生成與消亡、可塑性模型等被認(rèn)為是腦神經(jīng)網(wǎng)絡(luò)處理信息的重要特性。學(xué)習(xí)團(tuán)隊(duì)將上述受腦啟發(fā)的規(guī)則引入脈沖神經(jīng)網(wǎng)絡(luò)模型，希望提升傳統(tǒng)脈沖神經(jīng)網(wǎng)絡(luò)的效率。
　　學(xué)習(xí)團(tuán)隊(duì)所提出的脈沖神經(jīng)網(wǎng)絡(luò)模型主要包含三局部：脈沖生成層、隱層、輸出層。在脈沖生成層中，靜態(tài)圖像輸入被轉(zhuǎn)化為脈沖序列。在隱層中，神經(jīng)元的動(dòng)態(tài)分配(R1， R2)、突觸的生長(zhǎng)消亡(R3， R4)、不同類型的背景噪聲(R5)、不同類型的脈沖時(shí)序依賴可塑性模型(R6)、興奮和抑制性神經(jīng)元(R7)被作為類腦的重要機(jī)制引入。在輸出層，興奮性神經(jīng)元負(fù)責(zé)進(jìn)行分類，抑制性神經(jīng)元實(shí)現(xiàn)贏者通吃的機(jī)制(WTA)。實(shí)驗(yàn)驗(yàn)證方面，學(xué)習(xí)采用了手寫數(shù)數(shù)據(jù)集MNIST。
　　實(shí)驗(yàn)表明，當(dāng)引入精心選擇的類腦機(jī)制后，模型的正確率會(huì)逐步提升。
　　學(xué)習(xí)人員表示，模型性能的最優(yōu)化并不是該學(xué)習(xí)追求的最終目標(biāo)。團(tuán)隊(duì)提出的模型特點(diǎn)在于計(jì)算機(jī)制上相比傳統(tǒng)神經(jīng)網(wǎng)絡(luò)模型更具生物可解釋性，在這種情況下，通過計(jì)算建模理解腦信息處理機(jī)制與過程的意義，以及由此帶來的啟發(fā)，要遠(yuǎn)大于對(duì)性能的追求。
　　該項(xiàng)學(xué)習(xí)工作的主要結(jié)論是：每一項(xiàng)引入的機(jī)制對(duì)于脈沖神經(jīng)網(wǎng)絡(luò)處理模式識(shí)別類問題都有自己獨(dú)特的貢獻(xiàn)，并且相互不可替代 (如圖1所示)。此外，在MNIST數(shù)據(jù)集上取得最好模式識(shí)別效率的興奮性和抑制性神經(jīng)元比例為15%抑制性神經(jīng)元，85%興奮性神經(jīng)元(如圖2所示)，這與生物腦皮層感知區(qū)域的興奮性與抑制性神經(jīng)元比例近乎一致，從計(jì)算的視角初步佐證了腦神經(jīng)系統(tǒng)在向解決認(rèn)知任務(wù)優(yōu)化的方向進(jìn)化。相關(guān)學(xué)習(xí)成果發(fā)表于Science China Information Sciences。