你用過 Google Trends 嗎?相當酷，輸入一些關鍵詞，然后能看到它們在谷歌中的搜索趨勢變化。剛好 arxiv-sanity 論文數據庫在過去 5 年內有 28303 份機器學習相關論文，所以我想，為什么不做一些類似的事情，來看看機器學習研究在過去 5 年是如何進展的?結果相當有趣，所以我想我該寫篇文章分享一下。

(機器學習是一個大領域。本文偏重的領域是深度學習——這是我最熟悉的一個分區。)

arxiv 奇點

讓我們首先看下，在 arxiv-sanity 上( cs.AI、cs.LG、cs.CV、cs.CL、cs.NE、stat.ML)的 論文提交總數，見下圖：

是的， 2017 年 3 月這些領域差不多提交了 2000 份論文。峰值可能與會議(比如 NIPS/ICML)的截止日期有關。注意，這里并不能說明該領域本身論文數量規模，因為并不是所有人都會把論文提交到 arxiv ，而且研究人員對一部分論文的分類會隨時間變化。但值得指出的是，這些領域有大量的論文。

把論文的總數作為分母。我們現在可以看下這部分論文包含了哪些我們感興趣的特定關鍵詞。

深度學習框架

先預熱下，讓我們看看正在使用的那些深度學習框架。計算這個值時，在整篇論文中任何地方(包括提到的參考書目書名等)提到深度學習框架的這部分論文都被記錄在內。對上傳于 2017 年 3 月的這部分論文，我們得到如下結果：

% of papers framework has been around for (months) 
  
------------------------------------------------------------ 
    9.1          tensorflow      16 
    7.1              caffe      37 
    4.6              theano      54 
    3.3              torch      37 
    2.5              keras      19 
    1.7          matconvnet      26 
    1.2            lasagne      23 
    0.5            chainer      16 
    0.3              mxnet      17 
    0.3                cntk      13 
    0.2            pytorch      1 
    0.1      deeplearning4j      14 

也就是說，2017 年 3 月提交的論文中有 10% 提到了 TensorFlow 。當然，不是每篇論文都聲明了它使用的框架，但如果我們假定那部分聲明了該框架的論文，對框架使用有一個比較固定概率的話，那么大約 40% 的社區目前正在使用 TensorFlow (甚至更多，如果你把帶 TF 后端的 Keras 也算上)。下圖可以看出一些比較流行的框架是如何隨時間演變的：

我們可以看到 Theano 已經出現一段時間了，但是它的增長幾乎停滯。Caffe 在 2014 年急速猛增，但是在過去幾個月被 TensorFlow 趕超。Torch(以及最近的 PyTorch)也在攀升，雖緩慢但穩定。接下來幾個月的發展會很有趣——我個人的猜測是 Caffe/Theano 會繼續有一個緩慢的下降，以及由于 PyTorch 的出現， TF 的增長會稍微變得緩慢。

ConvNet 模型

就樂趣而言，我們何不來看下常見的 ConvNet 模型?這里，我們清楚地看到 ResNets 有一個巨大的攀升：2017 年 3 月它們出現在 9% 的論文中：

還有，在 InceptionNet 之前誰在討論 inception?我對此表示好奇。

優化算法

在優化算法方面，看起來 Adam 連連獲勝，2017 年 3 月 23% 的論文中都出現了它!實際的使用比例很難估測;它可能高于 23%，因為一些論文沒有聲明優化算法，而且很大一部分論文可能甚至沒有優化任何神經網絡。然后它還可能就是 5% 左右，因為 Adam 在 2014 年 12 月才發布，并且可能與論文作者名字沖突。

研究者們

我還好奇深度學習領域重要人物的提及情況，因此作出下圖(這有點類似于論文引用量計數，但是：① 它比論文的“0/1”計數更穩定， ② 對總范圍進行了標準化。

值得注意的幾點：提交的論文中有 35% 提到了“bengio”，這里有兩個 Bengio : Samy Bengio 和 Yoshua Bengio，我們做了合并。 Geoff Hinton 出現的比例超過 30%!看起來很高。

熱點或非熱點關鍵詞

最后，我們不去對關鍵詞做手動分類，而是看一下熱點(hot)或者非熱點的關鍵詞。

Top hot keywords 排前列的熱點關鍵詞

對此有多種定義，但是這次嘗試中我查看了所有論文中每個 unigram(單個 word )或 bigram ( 雙 word )，并記錄了相比于去年最大使用量的比例。高于這個比例，就是去年有較大潛力但是今年表現出更高的相對頻率。熱點關鍵詞排名結果如下：

8.17394726486 resnet 
6.76767676768 tensorflow 
5.21818181818 gans 
5.0098386462 residualnetworks 
4.34787878788 adam 
2.95181818182 batchnormalization 
2.61663993305 fcn 
2.47812783318 vgg16 
2.03636363636 styletransfer 
1.99958217686 gated 
1.99057177616 deepreinforcement 
1.98428686543 lstm 
1.93700787402 nmt 
1.90606060606 inception 
1.8962962963 siamese 
1.88976377953 characterlevel 
1.87533998187 regionproposal 
1.81670721817 distillation 
1.81400378481 treesearch 
1.78578069795 torch 
1.77685950413 policygradient 
1.77370153867 encoderdecoder 
1.74685427385 gru 
1.72430399325 word2vec 
1.71884293052 reluactivation 
1.71459655485 visualquestion 
1.70471560525 imagegeneration 

舉例來說， ResNet 的比例是 8.17，因為 1 年前( 2016 年 3 月——最大使用量的月份)它在所有提交的論文中出現的比例是 1.044% ，而上月( 2017 年 3 月)是 8.53% ， 8.53 / 1.044 ~= 8.17。

所以可以從上圖看到，過去一年盛行的核心創新是： 1) ResNets、2) GANs,、3) Adam、4) BatchNorm。 在研究中多使用這些模型。

在研究興趣方面，我們看到的是 1)風格轉換、2) 深度強化學習、3) 神經網絡機器翻譯 (“nmt”)，以及 4) 圖像生成 。

在架構上，熱點使用是 1) 全卷機網絡 ( FCN )、2) LSTMs / GRUs 、3) Siamese 網絡，以及 4) 編碼器-解碼器網絡。

非熱詞

在相反的方面呢?有哪些詞過去一年有較少的提交，但是歷史上較高。以下列舉了一些：

0.0462375339982 fractal 
0.112222705524 learningbayesian 
0.123531424661 ibp 
0.138351983723 textureanalysis 
0.152810895084 bayesiannetwork 
0.170535340862 differentialevolution 
0.227932960894 wavelettransform 
0.24482875551 dirichletprocess 

我不確定 “fractal” 指什么，但是一般來說看起來像是貝葉斯非參數受到攻擊。

結論

現在提交的論文主題應該是圍繞全卷積編碼器解碼器 BatchNorm ResNet GAN( Fully Convolutional Encoder Decoder BatchNorm ResNet GAN )應用于風格轉換，用 Adam 進行優化。這聽起來似乎沒那么不著邊際。