機(jī)器學(xué)習(xí)

• 今天機(jī)器學(xué)習(xí)得意其一個(gè)算法優(yōu)異的表現(xiàn)——深度學(xué)習(xí)

• 因?yàn)橹灰蠹艺劦綑C(jī)器學(xué)習(xí)，就會(huì)首先想到深度學(xué)習(xí)，甚至有些人認(rèn)為機(jī)器學(xué)習(xí)就是深度學(xué)習(xí)

深度學(xué)習(xí)只是機(jī)器學(xué)習(xí)的一個(gè)算法

• 今天深度學(xué)習(xí)憑借卷積神經(jīng)網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò)以及基于他們衍生得網(wǎng)絡(luò)在空間和時(shí)間任務(wù)上取得了優(yōu)異成績(jī)

• 但是機(jī)器學(xué)習(xí)任務(wù)并非只局限這兩個(gè)任務(wù)，還有想價(jià)格預(yù)估、金融量化、股價(jià)預(yù)測(cè)等等

• 除了深度學(xué)習(xí)還有許多機(jī)器學(xué)習(xí)方法，例如 SVM、XGboost 等好用算法
• 演化算法搜索神經(jīng)網(wǎng)絡(luò)

深度學(xué)習(xí)崛起

[[391620]]

數(shù)據(jù)

• 數(shù)據(jù)量很大神經(jīng)網(wǎng)絡(luò)可擴(kuò)展性越好，調(diào)整神經(jīng)網(wǎng)絡(luò)大小和深度來(lái)學(xué)到更多有用的信息，其他學(xué)習(xí)模型會(huì)有天花板

[[391621]]

算力

• GPU 出現(xiàn)可以為進(jìn)行大量的并行矩陣運(yùn)算提供了可能，神經(jīng)網(wǎng)絡(luò)大部分計(jì)算都是運(yùn)行在 GPU 上，特別是訓(xùn)練階段

堅(jiān)持

• 因?yàn)橛辛?Yoshua Bengio、 Geffrey Hiton 和 Yann Lecun 他們不斷努力和堅(jiān)持，才有今天深度學(xué)習(xí)

深度學(xué)習(xí)應(yīng)用領(lǐng)域

計(jì)算機(jī)視覺(jué)

• 當(dāng)年 Yann Lecun 提出了 covNet 隨后 AlexNet 就將準(zhǔn)確度提升很大一塊

到 2016 年，神經(jīng)網(wǎng)絡(luò)在 imageNet 這個(gè)數(shù)據(jù)集已經(jīng)將錯(cuò)誤率降低到 3% ，已經(jīng)低于人類分類任務(wù) 5% 的錯(cuò)誤率

• 現(xiàn)在一個(gè)神經(jīng)網(wǎng)絡(luò)在計(jì)算視覺(jué)進(jìn)入了一個(gè)成熟器，現(xiàn)在多少數(shù)神經(jīng)網(wǎng)絡(luò)還在將 ResNet 和 VGG 作為基礎(chǔ)網(wǎng)絡(luò)

• 通過(guò) GAN 實(shí)現(xiàn)了圖片的生成，只有能夠創(chuàng)建圖片才認(rèn)為機(jī)器真正理解圖片的含義。在 person not exist website 這個(gè)網(wǎng)站生成人的圖片可以以假亂真

[[391625]]

• 現(xiàn)在提出了膠囊網(wǎng)絡(luò)和自適應(yīng)神經(jīng)網(wǎng)絡(luò)

[[391626]]

自然語(yǔ)言模型

早起出現(xiàn)的循環(huán)神經(jīng)網(wǎng)絡(luò)可以用于處理時(shí)序上的問(wèn)題

自然語(yǔ)言模型

• 早起出現(xiàn)的循環(huán)神經(jīng)網(wǎng)絡(luò)可以用于處理時(shí)序上的問(wèn)題

• LSTM 和 GRU 出現(xiàn)添加門控機(jī)制解決循環(huán)神經(jīng)網(wǎng)絡(luò)梯度彌散的問(wèn)題，通過(guò)控制存儲(chǔ)單元寫入讀取讓循環(huán)神經(jīng)網(wǎng)絡(luò)更合理好用

• 自注意實(shí)現(xiàn)循環(huán)神經(jīng)網(wǎng)絡(luò)可以從串行到并行，自注意通過(guò)對(duì)注意力的分配控制當(dāng)前輸出會(huì)對(duì)序列中那些值更關(guān)注

 

• Transform 和 BERT 將所有自然語(yǔ)言榜單進(jìn)行一次刷新

[[391628]]

• 當(dāng)年 GPT-2 的出現(xiàn)，因?yàn)槠浔憩F(xiàn) Open AI 認(rèn)為其表現(xiàn)過(guò)于優(yōu)越，因此并沒(méi)有將其開源

• 最近 Google 推出了 XLNet 再次震撼了自然語(yǔ)言處理領(lǐng)域

圖卷積(GNN)

• 深度學(xué)習(xí)解決許多歐幾里得空間的數(shù)據(jù)，但是真實(shí)世界并非所有數(shù)都存在歐幾里得空間，而是實(shí)體之間存在某種關(guān)系

[[391629]]

• 我們?nèi)诵畔⒋嬖诮Y(jié)構(gòu)中，希望通過(guò)分析實(shí)體之間關(guān)系挖掘結(jié)構(gòu)上的信息

[[391630]]

• 現(xiàn)在在推薦系統(tǒng)、社交網(wǎng)絡(luò)、交通網(wǎng)絡(luò)或者物流上都會(huì)用到圖卷積

[[391631]]

• 圖卷積可以為下游任務(wù)提供給含有更多信息的數(shù)據(jù)

強(qiáng)化學(xué)習(xí)(RL)

[[391632]]

• 引起公眾對(duì)人工智能的注意，當(dāng)看到 AlphaGo 完成人類世界冠軍，甚至開始自己的未來(lái)產(chǎn)生了擔(dān)憂

• 引起公眾對(duì)人工智能的注意，當(dāng)看到 AlphaGo 完成人類世界冠軍，甚至開始自己的未來(lái)產(chǎn)生了擔(dān)憂

[[391633]]

• 淘寶推薦系統(tǒng)，滴滴派單系統(tǒng)以及無(wú)人駕駛都開始引入強(qiáng)化學(xué)習(xí)幫助做決策