儲備池計算新突破：神經元更少，計算速度最高提升百萬倍
預測復雜的系統一定要用更多的神經元嗎？在最新一期的《自然 · 通訊》上，俄亥俄州立大學的研究者給出了否定的答案。他們找到了一種將儲備池計算速度最高提升 100 萬倍的方法，使用的神經元比原來要少得多。
在數學領域，有一個名叫「動力系統」的概念。這一系統中存在一個固定的規(guī)則，描述了幾何空間中的一個點隨時間的演化情況，例如鐘擺晃動、管道中水的流動、湖中每年春季魚類的數量等。
然而，動力系統就像天氣一樣，是很難預測的，因為初始條件下微小的變化能帶動整個系統的長期的巨大的連鎖反應，這就是我們所熟知的蝴蝶效應。
為了更好地預測動力系統隨時間的演化，相關研究者在本世紀初提出了一種名為「儲備池計算（Reservoir computing ）」的機器學習算法。這是一種模仿人腦工作方式的計算方法，在預測動力系統演化方面非常有效，研究者也一直在這條路上不斷改進。
在最新一期的《自然 · 通訊》雜志上，來自美國俄亥俄州立大學的研究者公布了他們在儲備池計算研究上的新進展。這些研究者表示，他們找到了一種新方法，將儲備池計算的速度提高了 33 到 100 萬倍，而所需的計算資源和數據輸入卻大大減少。他們將這種方法稱為「下一代儲備池計算」。
論文鏈接：https://www.nature.com/articles/s41467-021-25801-2
這項研究的一作兼通訊作者為俄亥俄州立大學物理系教授 Daniel Gauthier。
共同作者包括克拉克森大學電子與計算機工程系教授 Erik Bollt、俄亥俄州立大學物理學博士 Aaron Griffith 和俄亥俄州立大學物理學博士后研究員 Wendson Barbosa。
這項研究還得到了美國國防高級研究計劃局（DARPA）的支持。
在針對新方法的一次測試中，研究者在臺式電腦上只用不到一秒的時間就解決了一個復雜的計算問題。如果使用當前的 SOTA 技術來解決該問題，研究者要用到超級計算機，而且需要更長的時間。
下一代儲備池計算：用更少的神經元作出更準確的預測
儲備池計算使用人工神經網絡來預測動力系統的演化。研究者將動力系統上的數據輸入神經網絡中一個由隨機連接的人工神經元組成的「儲備池」中。該網絡產生有用的輸出，研究者可以解釋該輸出并給出反饋，從而建立一個越來越準確的演化預測系統。
系統越大、越復雜，期望預測的結果越準確，人工神經網絡就越大，完成任務所需的計算資源和時間也就越多。新研究主要作者、美國俄亥俄州立大學物理學教授 Daniel Gauthier 說，這里的問題是，基于人工神經元的儲備池是一個黑盒子，科學家們不知道它里面到底發(fā)生了什么，只知道它管用。
儲備池計算核心的人工神經網絡建立在數學基礎上的，Gauthier 解釋說，「我們讓數學家看一下這些網絡，并告訴我們里面的各種組件到底在多大程度上是必不可少的?！?/p>
在這項新研究中，Gauthier 和他的同事調查了這個問題，發(fā)現整個儲備池計算系統可以大大簡化，從而顯著降低對計算資源的需求，節(jié)省大量時間。
他們在一個預測任務中測試了此概念，該任務涉及 Edward Lorenz 開發(fā)的天氣系統，Edward Lorenz 是蝴蝶效應的發(fā)現者，被譽為混沌理論之父。
在 Lorenz 預測任務中，研究者提出的下一代儲備池計算技術明顯優(yōu)于當前的 SOTA 技術。在一臺臺式機上進行的一個相對簡單的模擬中，新系統的速度是當前模型的 33 到 163 倍。
但是，當目標是達到 great accuracy 時，下一代儲備池計算要快 100 萬倍。Gauthier 說，新方法只需要 28 個神經元就能達到原本 4000 個神經元才能達到的準確率。
速度提升的一個重要原因在于：與上一代儲備池計算相比，新一代儲備池計算背后的「大腦」需要的 warmup 和訓練要少得多。
Warmup 指的是需要作為輸入被添加到儲備池計算機，從而為其實際任務做好準備的訓練數據。「我們的新方法幾乎不需要 warm 時間，」Gauthier 表示，「目前，為了 warmup，研究者必須放入 1000、10000 個甚至更多的數據點。這些都是實際工作中不需要的數據。我們只需要輸入一兩個或三個數據點?！?/p>
一旦研究人員準備好訓練儲備池計算機進行預測，下一代系統需要的數據就會少很多。
在 Lorenz 預測任務的測試中，研究人員使用 400 個數據點，就得到了與上一代儲備池計算機使用 5000 個或更多數據點產生的相同的結果（具體數據點數量取決于所需的準確率）。
Gauthier 說：「令人興奮的是，下一代儲備池計算采用了之前就已經非常優(yōu)秀的技術，大大提高了效率?！顾麄冇媱潓⑦@項工作擴展到更復雜的計算問題上，比如預測流體動力學。
「這是一個極具挑戰(zhàn)性的問題。我們想看看，是否可以使用簡化的儲備池計算模型，以加快解決這個問題的進程?！笹authier 表示。
