在自動(dòng)駕駛等許多重要應(yīng)用中，數(shù)據(jù)都是實(shí)時(shí)動(dòng)態(tài)的，并且時(shí)不時(shí)還會(huì)出現(xiàn)一些意外情況。為了高效地應(yīng)對這一問題，MIT 的研究者受生物神經(jīng)元啟發(fā)而設(shè)計(jì)了一種新型神經(jīng)網(wǎng)絡(luò)，并且他們還通過理論證明和實(shí)驗(yàn)驗(yàn)證體現(xiàn)了該神經(jīng)網(wǎng)絡(luò)的有效性。相關(guān)代碼也已公布。

麻省理工學(xué)院（MIT）的研究者開發(fā)出了一種新型的神經(jīng)網(wǎng)絡(luò)，其不僅能在訓(xùn)練階段學(xué)習(xí)，而且還能持續(xù)不斷地適應(yīng)。他們將這種靈活的算法命名為「Liquid」網(wǎng)絡(luò)，因?yàn)槠淠芟瘛敢后w」一樣改變其底層的數(shù)學(xué)方程以持續(xù)適應(yīng)新的輸入數(shù)據(jù)。這一進(jìn)展能助力基于動(dòng)態(tài)變化數(shù)據(jù)的決策任務(wù)，比如醫(yī)療診斷和自動(dòng)駕駛中涉及到的任務(wù)。

論文地址：https://arxiv.org/pdf/2006.04439.pdf

代碼地址：https://github.com/raminmh/liquid_time_constant_networks

「這條路能邁向未來的機(jī)器人控制、自然語言處理、視頻處理——任何形式的時(shí)間序列數(shù)據(jù)處理。」該研究的主要作者 Ramin Hasani 說，「它的潛力確實(shí)很大。」

該研究論文是 AAAI 2021 會(huì)議入選論文之一。

Hasani 說，為了理解世界，時(shí)間序列數(shù)據(jù)不僅無處不在，而且至關(guān)重要，不可或缺。「真實(shí)世界都與序列有關(guān)。我們的感知方式也是如此——你感知的不是圖像，而是圖像的序列。」他說，「因此，時(shí)間序列數(shù)據(jù)實(shí)際上創(chuàng)造了我們的現(xiàn)實(shí)。」

[[382710]]

他指出，視頻處理、金融數(shù)據(jù)和醫(yī)療診斷應(yīng)用都涉及到時(shí)間序列，而且這些應(yīng)用對我們的社會(huì)至關(guān)重要。這些不斷變化的數(shù)據(jù)流的變化情況難以預(yù)測。但是，如果能夠?qū)崟r(shí)地分析這些數(shù)據(jù)，并將它們用于預(yù)測未來的行為，那么就能極大促進(jìn)自動(dòng)駕駛等技術(shù)的發(fā)展。

Hasani 等研究者設(shè)計(jì)了一種能適應(yīng)實(shí)時(shí)世界系統(tǒng)的變化的神經(jīng)網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)靈感來自生物大腦，而 Hasani 說他們的這種特定神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)靈感直接來自秀麗隱桿線蟲（C. elegans）。他說：「它的神經(jīng)系統(tǒng)僅有 302 個(gè)神經(jīng)元，但卻可以產(chǎn)生超出預(yù)期的復(fù)雜動(dòng)態(tài)。」

通過仔細(xì)觀察秀麗隱桿線蟲的神經(jīng)元的激活方式以及彼此通過電脈沖通信的方式，Hasani 編碼出了他的神經(jīng)網(wǎng)絡(luò)。在其用于構(gòu)建神經(jīng)網(wǎng)絡(luò)的方程式中，參數(shù)可基于一組嵌套的微分方程的結(jié)果而隨時(shí)間變化。

算法 1：由聚合的常微分方程（ODE）求解算法實(shí)現(xiàn)的 Liquid 時(shí)間常量（LTC）循環(huán)神經(jīng)網(wǎng)絡(luò)，其中 θ 是參數(shù)空間，f 可以是任意激活函數(shù)。

算法 2：通過隨時(shí)間反向傳播（BPTT）訓(xùn)練 LTC。

這種靈活性是其中的關(guān)鍵。在訓(xùn)練階段之后，大多數(shù)神經(jīng)網(wǎng)絡(luò)的行為都會(huì)固定下來，這意味著它們難以根據(jù)輸入數(shù)據(jù)流的變化而進(jìn)行調(diào)整。Hasani 說他的Liquid 網(wǎng)絡(luò)的流動(dòng)性使其能更彈性地應(yīng)對意料之外的數(shù)據(jù)或噪聲數(shù)據(jù)，比如滂沱的暴雨遮蔽了自動(dòng)駕駛汽車的攝像機(jī)視野。「也就是說，它更加魯棒。」

Hasani 并補(bǔ)充道網(wǎng)絡(luò)靈活性還有另一大優(yōu)勢：「它也更能被解釋。」

Hasani 說他的Liquid 網(wǎng)絡(luò)規(guī)避了其它神經(jīng)網(wǎng)絡(luò)常見的難解性。「只是改變神經(jīng)元的表征方式，你就可以探索以其它方式無法探索的某種程度的復(fù)雜性。」Hasani 采用的改變方式是使用微分方程。得益于這種數(shù)量少但卻具有高度表征能力的神經(jīng)元，可以更輕松地窺探網(wǎng)絡(luò)決策過程的「黑箱」并診斷網(wǎng)絡(luò)為何具有某種特定的特征。

Hasani 說：「這個(gè)模型本身具有豐富的表現(xiàn)力。」這能夠幫助工程師理解和提升 Liquid 網(wǎng)絡(luò)的性能。

圖 1：通過軌跡長度衡量表現(xiàn)力，靜態(tài)深度網(wǎng)絡(luò)的軌跡隱含空間會(huì)隨著輸入穿過隱含層而變得更加復(fù)雜。

圖 2：通過軌跡長度衡量表現(xiàn)力，使用不同激活函數(shù)的 LTC。

Hasani 的網(wǎng)絡(luò)在一系列測試中都取得了出色表現(xiàn)。在從大氣化學(xué)到交通模式分析等多種任務(wù)中，新提出的方法在預(yù)測未來值方面的表現(xiàn)優(yōu)于其它當(dāng)前最佳時(shí)間序列算法幾個(gè)百分點(diǎn)。此外，由于該網(wǎng)絡(luò)尺寸小，因此在測試的計(jì)算成本也低得多。「每個(gè)人都在談擴(kuò)大他們的網(wǎng)絡(luò)」，Hasani 說，「我們想的是縮小，以便獲得更少但更豐富的節(jié)點(diǎn)。」

時(shí)間序列預(yù)測結(jié)果。

Hasani 計(jì)劃繼續(xù)改進(jìn)該系統(tǒng)，并探索其行業(yè)應(yīng)用。「受大自然啟發(fā)，我們已經(jīng)有了一個(gè)得到證明的更有表現(xiàn)力的神經(jīng)網(wǎng)絡(luò)。但這個(gè)過程才剛剛開始。」他說，「顯而易見的問題是：我們?nèi)绾螖U(kuò)展它？我們認(rèn)為這類網(wǎng)絡(luò)將成為未來智能系統(tǒng)的關(guān)鍵組件。」