[[204864]]

機器學習(Machine Learning，ML)是一門多領域交叉學科，涉及概率論、統(tǒng)計學、逼近論、凸分析、算法復雜度理論等多門學科。其專門研究計算機是怎樣模擬或實現(xiàn)人類的學習行為，以獲取新的知識或技能，重新組織已有的知識結構，使之不斷改善自身的性能。此外，數(shù)據(jù)挖掘和機器學習有很大的交集。本文將從架構和應用角度去解讀這兩個領域。

機器學習和數(shù)據(jù)挖掘的聯(lián)系與區(qū)別

數(shù)據(jù)挖掘是從海量數(shù)據(jù)中獲取有效的、新穎的、潛在有用的、最終可理解的模式的非平凡過程。數(shù)據(jù)挖掘中用到了大量的機器學習界提供的數(shù)據(jù)分析技術和數(shù)據(jù)庫界提供的數(shù)據(jù)管理技術。從數(shù)據(jù)分析的角度來看，數(shù)據(jù)挖掘與機器學習有很多相似之處，但不同之處也十分明顯，例如，數(shù)據(jù)挖掘并沒有機器學習探索人的學習機制這一科學發(fā)現(xiàn)任務，數(shù)據(jù)挖掘中的數(shù)據(jù)分析是針對海量數(shù)據(jù)進行的，等等。從某種意義上說，機器學習的科學成分更重一些，而數(shù)據(jù)挖掘的技術成分更重一些。

學習能力是智能行為的一個非常重要的特征，不具有學習能力的系統(tǒng)很難稱之為一個真正的智能系統(tǒng)，而機器學習則希望(計算機)系統(tǒng)能夠利用經驗來改善自身的性能，因此該領域一直是人工智能的核心研究領域之一。在計算機系統(tǒng)中，“經驗”通常是以數(shù)據(jù)的形式存在的，因此，機器學習不僅涉及對人的認知學習過程的探索，還涉及對數(shù)據(jù)的分析處理。實際上，機器學習已經成為計算機數(shù)據(jù)分析技術的創(chuàng)新源頭之一。由于幾乎所有的學科都要面對數(shù)據(jù)分析任務，因此機器學習已經開始影響到計算機科學的眾多領域，甚至影響到計算機科學之外的很多學科。機器學習是數(shù)據(jù)挖掘中的一種重要工具。然而數(shù)據(jù)挖掘不僅僅要研究、拓展、應用一些機器學習方法，還要通過許多非機器學習技術解決數(shù)據(jù)倉儲、大規(guī)模數(shù)據(jù)、數(shù)據(jù)噪聲等實踐問題。機器學習的涉及面也很寬，常用在數(shù)據(jù)挖掘上的方法通常只是“從數(shù)據(jù)學習”。然而機器學習不僅僅可以用在數(shù)據(jù)挖掘上，一些機器學習的子領域甚至與數(shù)據(jù)挖掘關系不大，如增強學習與自動控制等。所以筆者認為，數(shù)據(jù)挖掘是從目的而言的，機器學習是從方法而言的，兩個領域有相當大的交集，但不能等同。

典型的數(shù)據(jù)挖掘和機器學習過程

圖1是一個典型的推薦類應用，需要找到“符合條件的”潛在人員。要從用戶數(shù)據(jù)中得出這張列表，首先需要挖掘出客戶特征，然后選擇一個合適的模型來進行預測，最后從用戶數(shù)據(jù)中得出結果。

圖1

把上述例子中的用戶列表獲取過程進行細分，有如下幾個部分(見圖2)。

圖2

• 業(yè)務理解：理解業(yè)務本身，其本質是什么?是分類問題還是回歸問題?數(shù)據(jù)怎么獲取?應用哪些模型才能解決?
• 數(shù)據(jù)理解：獲取數(shù)據(jù)之后，分析數(shù)據(jù)里面有什么內容、數(shù)據(jù)是否準確，為下一步的預處理做準備。
• 數(shù)據(jù)預處理：原始數(shù)據(jù)會有噪聲，格式化也不好，所以為了保證預測的準確性，需要進行數(shù)據(jù)的預處理。
• 特征提取：特征提取是機器學習最重要、最耗時的一個階段。
• 模型構建：使用適當?shù)乃惴?，獲取預期準確的值。
• 模型評估：根據(jù)測試集來評估模型的準確度。
• 模型應用：將模型部署、應用到實際生產環(huán)境中。
• 應用效果評估：根據(jù)最終的業(yè)務，評估最終的應用效果。

整個過程會不斷反復，模型也會不斷調整，直至達到理想效果。

機器學習概覽

機器學習的算法有很多，這里從兩個方面進行介紹：一個是學習方式，另一個是算法類似性。

學習方式

根據(jù)數(shù)據(jù)類型的不同，對一個問題的建模可以有不同的方式。在機器學習或人工智能領域，人們首先會考慮算法的學習方式。在機器學習領域有如下幾種主要的學習方式。

• 監(jiān)督式學習：在監(jiān)督式學習下，輸入數(shù)據(jù)被稱為“訓練數(shù)據(jù)”，每組訓練數(shù)據(jù)都有一個明確的標識或結果，如對防垃圾郵件系統(tǒng)中的“垃圾郵件”、“非垃圾郵件”，對手寫數(shù)字識別中的“1”、“2”、“3”、“4”等。在建立預測模型的時候，監(jiān)督式學習建立一個學習過程，將預測結果與“訓練數(shù)據(jù)”的實際結果進行比較，不斷地調整預測模型，直到模型的預測結果達到一個預期的準確率。監(jiān)督式學習的常見應用場景包括分類問題和回歸問題。常見算法有邏輯回歸和反向傳遞神經網(wǎng)絡。
• 非監(jiān)督式學習：在非監(jiān)督式學習下，數(shù)據(jù)并不被特別標識，學習模型是為了推斷出數(shù)據(jù)的一些內在結構。常見的應用場景包括關聯(lián)規(guī)則的學習及聚類等。常見算法包括Apriori算法和K-Means算法。
• 半監(jiān)督式學習：在半監(jiān)督式學習下，輸入數(shù)據(jù)部分被標識，部分沒有被標識。這種學習模型可以用來進行預測，但是模型首先需要學習數(shù)據(jù)的內在結構，以便合理地組織數(shù)據(jù)進行預測。其應用場景包括分類和回歸。常見算法包括一些對常用監(jiān)督式學習算法的延伸。這些算法首先試圖對未標識的數(shù)據(jù)進行建模，然后在此基礎上對標識的數(shù)據(jù)進行預測，如圖論推理算法或拉普拉斯支持向量機等。
• 強化學習：在強化學習下，輸入數(shù)據(jù)作為對模型的反饋，不像監(jiān)督模型那樣，輸入數(shù)據(jù)僅僅作為一種檢查模型對錯的方式。在強化學習下，輸入數(shù)據(jù)直接反饋到模型，模型必須對此立刻做出調整。常見的應用場景包括動態(tài)系統(tǒng)及機器人控制等。常見算法包括Q-Learning及時間差學習(Temporal Difference Learning)等。

在企業(yè)數(shù)據(jù)應用的場景下，人們最常用的可能就是監(jiān)督式學習和非監(jiān)督式學習。在圖像識別等領域，由于存在大量的非標識數(shù)據(jù)和少量的可標識數(shù)據(jù)，目前半監(jiān)督式學習是一個很熱門的話題。而強化學習更多地應用在機器人控制及其他需要進行系統(tǒng)控制的領域。

算法類似性

根據(jù)算法的功能和形式的類似性，可以對算法進行分類，如基于樹的算法、基于神經網(wǎng)絡的算法等。當然，機器學習的范圍非常龐大，有些算法很難明確歸到某一類。而對于有些分類來說，同一分類的算法可以針對不同類型的問題。這里，我們盡量把常用的算法按照最容易理解的方式進行分類。

• 回歸算法：回歸算法是試圖采用對誤差的衡量來探索變量之間的關系的一類算法?；貧w算法是統(tǒng)計機器學習的利器。常見的回歸算法包括最小二乘法、邏輯回歸、逐步式回歸、多元自適應回歸樣條及本地散點平滑估計等。
• 基于實例的算法：基于實例的算法常常用來對決策問題建立模型，這樣的模型常常先選取一批樣本數(shù)據(jù)，然后根據(jù)某些近似性把新數(shù)據(jù)與樣本數(shù)據(jù)進行比較，從而找到最佳的匹配。因此，基于實例的算法常常被稱為“贏家通吃學習”或者“基于記憶的學習”。常見的算法包括k-Nearest Neighbor(kNN)、學習矢量量化(Learning Vector Quantization，LVQ)及自組織映射算法(Self-Organizing Map，SOM)等。
• 正則化算法：正則化算法是其他算法(通常是回歸算法)的延伸，根據(jù)算法的復雜度對算法進行調整。正則化算法通常對簡單模型予以獎勵，而對復雜算法予以懲罰。常見的算法包括Ridge Regression、Least Absolute Shrinkage and Selection Operator(LASSO)及彈性網(wǎng)絡(Elastic Net)等。
• 決策樹算法：決策樹算法根據(jù)數(shù)據(jù)的屬性采用樹狀結構建立決策模型，常用來解決分類和回歸問題。常見算法包括分類及回歸樹(Classification and Regression Tree，CART)、ID3(Iterative Dichotomiser 3)、C4.5、Chi-squared Automatic Interaction Detection(CHAID)、Decision Stump、隨機森林(Random Forest)、多元自適應回歸樣條(MARS)及梯度推進機(GBM)等。
• 貝葉斯算法：貝葉斯算法是基于貝葉斯定理的一類算法，主要用來解決分類和回歸問題。常見的算法包括樸素貝葉斯算法、平均單依賴估計(Averaged One-Dependence Estimators，AODE)及Bayesian Belief Network(BBN)等。
• 基于核的算法：基于核的算法中最著名的莫過于支持向量機(SVM)?；诤说乃惴ㄊ前演斎霐?shù)據(jù)映射到一個高階的向量空間，在這些高階向量空間里，有些分類或者回歸問題能夠更容易地解決。常見的基于核的算法包括支持向量機(Support Vector Machine，SVM)、徑向基函數(shù)(Radial Basis Function，RBF)及線性判別分析(Linear Discriminate Analysis，LDA)等。
• 聚類算法：聚類算法通常按照中心點或者分層的方式對輸入數(shù)據(jù)進行歸并。所有的聚類算法都試圖找到數(shù)據(jù)的內在結構，以便按照最大的共同點將數(shù)據(jù)進行歸類。常見的聚類算法包括K-Means算法及期望最大化算法(EM)等。
• 關聯(lián)規(guī)則學習：關聯(lián)規(guī)則學習通過尋找最能夠解釋數(shù)據(jù)變量之間關系的規(guī)則，來找出大量多元數(shù)據(jù)集中有用的關聯(lián)規(guī)則。常見的算法包括Apriori算法和Eclat算法等。
• 人工神經網(wǎng)絡算法：人工神經網(wǎng)絡算法模擬生物神經網(wǎng)絡，是一類模式匹配算法，通常用于解決分類和回歸問題。人工神經網(wǎng)絡是機器學習的一個龐大的分支，有幾百種不同的算法(深度學習就是其中的一類算法)。常見的人工神經網(wǎng)絡算法包括感知器神經網(wǎng)絡、反向傳遞、Hopfield網(wǎng)絡、自組織映射及學習矢量量化等。
• 深度學習算法：深度學習算法是對人工神經網(wǎng)絡的發(fā)展。在計算能力變得日益廉價的今天，深度學習算法試圖建立大得多也復雜得多的神經網(wǎng)絡。很多深度學習算法是半監(jiān)督式學習算法，用來處理存在少量未標識數(shù)據(jù)的大數(shù)據(jù)集。常見的深度學習算法包括受限波爾茲曼機(RBN)、Deep Belief Networks(DBN)、卷積網(wǎng)絡(Convolutional Network)及堆棧式自動編碼器 (Stacked Auto-encoders)等。
• 降低維度算法：與聚類算法一樣，降低維度算法試圖分析數(shù)據(jù)的內在結構，不過降低維度算法通過非監(jiān)督式學習，試圖利用較少的信息來歸納或者解釋數(shù)據(jù)。這類算法可以用于高維數(shù)據(jù)的可視化，或者用來簡化數(shù)據(jù)以便監(jiān)督式學習使用。常見的降低維度算法包括主成分分析(Principle Component Analysis，PCA)、偏最小二乘回歸(Partial Least Square Regression，PLSR)、Sammon映射、多維尺度(Multi-Dimensional Scaling，MDS)及投影追蹤(Projection Pursuit)等。
• 集成算法：集成算法用一些相對較弱的學習模型獨立地就同樣的樣本進行訓練，然后把結果整合起來進行整體預測。集成算法的主要難點在于究竟集成哪些獨立的、較弱的學習模型，以及如何把學習結果整合起來。這是一類非常強大的算法，同時也非常流行。常見的集成算法包括Boosting、Bootstrapped Aggregation(Bagging)、AdaBoost、堆疊泛化(Stacked Generalization，Blending)、梯度推進機(Gradient Boosting Machine，GBM)及隨機森林(Random Forest)等。

機器學習&數(shù)據(jù)挖掘應用案例

前面了解了機器學習和數(shù)據(jù)挖掘的基本概念，下面來看一下業(yè)界成熟的案例，對機器學習和數(shù)據(jù)挖掘有一個直觀的理解。

尿布和啤酒的故事

先來看一則有關數(shù)據(jù)挖掘的故事——“尿布與啤酒”。

總部位于美國阿肯色州的世界著名商業(yè)零售連鎖企業(yè)沃爾瑪擁有世界上最大的數(shù)據(jù)倉庫系統(tǒng)。為了能夠準確了解顧客在其門店的購買習慣，沃爾瑪對其顧客的購物行為進行購物籃分析，想知道顧客經常一起購買的商品有哪些。沃爾瑪數(shù)據(jù)倉庫里集中了其各門店的詳細原始交易數(shù)據(jù)，在這些原始交易數(shù)據(jù)的基礎上，沃爾瑪利用NCR數(shù)據(jù)挖掘工具對這些數(shù)據(jù)進行分析和挖掘。一個意外的發(fā)現(xiàn)是：跟尿布一起購買最多的商品竟然是啤酒!這是數(shù)據(jù)挖掘技術對歷史數(shù)據(jù)進行分析的結果，反映了數(shù)據(jù)的內在規(guī)律。那么，這個結果符合現(xiàn)實情況嗎?是否有利用價值?

于是，沃爾瑪派出市場調查人員和分析師對這一數(shù)據(jù)挖掘結果進行調查分析，從而揭示出隱藏在“尿布與啤酒”背后的美國人的一種行為模式：在美國，一些年輕的父親下班后經常要到超市去買嬰兒尿布，而他們中有30%～40%的人同時也為自己買一些啤酒。產生這一現(xiàn)象的原因是：美國的太太們常叮囑她們的丈夫下班后為小孩買尿布，而丈夫們在買完尿布后又隨手帶回了他們喜歡的啤酒。

既然尿布與啤酒一起被購買的機會很多，于是沃爾瑪就在其各家門店將尿布與啤酒擺放在一起，結果是尿布與啤酒的銷售量雙雙增長。

決策樹用于電信領域故障快速定位

電信領域比較常見的應用場景是決策樹，利用決策樹來進行故障定位。比如，用戶投訴上網(wǎng)慢，其中就有很多種原因，有可能是網(wǎng)絡的問題，也有可能是用戶手機的問題，還有可能是用戶自身感受的問題。怎樣快速分析和定位出問題，給用戶一個滿意的答復?這就需要用到決策樹。

圖3就是一個典型的用戶投訴上網(wǎng)慢的決策樹的樣例。 

圖3

圖像識別領域

• 小米面孔相冊

這項功能的名字叫“面孔相冊”，可以利用圖像分析技術，自動地對云相冊照片內容按照面孔進行分類整理。開啟“面孔相冊”功能后，可以自動識別、整理和分類云相冊中的不同面孔。

“面孔相冊”還支持手動調整分組、移出錯誤面孔、通過系統(tǒng)推薦確認面孔等功能，從而彌補機器識別的不足。

這項功能的背后其實使用的是深度學習技術，自動識別圖片中的人臉，然后進行自動識別和分類。

• 支付寶掃臉支付

馬云在2015 CeBIT展會開幕式上首次展示了螞蟻金服的最新支付技術“Smile to Pay”(掃臉支付)，驚艷全場。支付寶宣稱，F(xiàn)ace++ Financial人臉識別技術在LFW國際公開測試集中達到99.5%的準確率，同時還能運用“交互式指令+連續(xù)性判定+3D判定”技術。人臉識別技術基于神經網(wǎng)絡，讓計算機學習人的大腦，并通過“深度學習算法”大量訓練，讓它變得極為“聰明”，能夠“認人”。實現(xiàn)人臉識別不需要用戶自行提交照片，有資質的機構在需要進行人臉識別時，可以向全國公民身份證號碼查詢服務中心提出申請，將采集到的照片與該部門的權威照片庫進行比對。

也就是說，用戶在進行人臉識別時，只需打開手機或電腦的攝像頭，對著自己的正臉進行拍攝即可。在智能手機全面普及的今天，這個參與門檻低到可以忽略不計。

用戶容易擔心的隱私問題在人臉識別領域也能有效避免，因為照片來源權威，同時，一種特有的“脫敏”技術可以將照片模糊處理成肉眼無法識別而只有計算機才能識別的圖像。

• 圖片內容識別

前面兩個案例介紹的都是圖片識別，比圖片識別更難的是圖片語義的理解和提取，百度和Google都在進行這方面的研究。

百度的百度識圖能夠有效地處理特定物體的檢測識別(如人臉、文字或商品)、通用圖像的分類標注，如圖4所示。 

圖4

來自Google研究院的科學家發(fā)表了一篇博文，展示了Google在圖形識別領域的最新研究進展?；蛟S未來Google的圖形識別引擎不僅能夠識別出圖片中的對象，還能夠對整個場景進行簡短而準確的描述，如圖5所示。這種突破性的概念來自機器語言翻譯方面的研究成果：通過一種遞歸神經網(wǎng)絡(RNN)將一種語言的語句轉換成向量表達，并采用第二種RNN將向量表達轉換成目標語言的語句。

圖5

而Google將以上過程中的第一種RNN用深度卷積神經網(wǎng)絡CNN替代，這種網(wǎng)絡可以用來識別圖像中的物體。通過這種方法可以實現(xiàn)將圖像中的對象轉換成語句，對圖像場景進行描述。概念雖然簡單，但實現(xiàn)起來十分復雜，科學家表示目前實驗產生的語句合理性不錯，但距離完美仍有差距，這項研究目前僅處于早期階段。圖6展示了通過此方法識別圖像對象并產生描述的過程。

圖6

自然語言識別

自然語言識別一直是一個非常熱門的領域，最有名的是蘋果的Siri，支持資源輸入，調用手機自帶的天氣預報、日常安排、搜索資料等應用，還能夠不斷學習新的聲音和語調，提供對話式的應答。微軟的Skype Translator可以實現(xiàn)中英文之間的實時語音翻譯功能，將使得英文和中文普通話之間的實時語音對話成為現(xiàn)實。

Skype Translator的運作機制如圖7所示。

圖7

在準備好的數(shù)據(jù)被錄入機器學習系統(tǒng)后，機器學習軟件會在這些對話和環(huán)境涉及的單詞中搭建一個統(tǒng)計模型。當用戶說話時，軟件會在該統(tǒng)計模型中尋找相似的內容，然后應用到預先“學到”的轉換程序中，將音頻轉換為文本，再將文本轉換成另一種語言。

雖然語音識別一直是近幾十年來的重要研究課題，但是該技術的發(fā)展普遍受到錯誤率高、麥克風敏感度差異、噪聲環(huán)境等因素的阻礙。將深層神經網(wǎng)絡(DNNs)技術引入語音識別，極大地降低了錯誤率、提高了可靠性，最終使這項語音翻譯技術得以廣泛應用。

深度學習

Artificial Intelligence(人工智能)是人類美好的愿望之一。雖然計算機技術已經取得了長足的進步，但截至目前，還沒有一臺計算機能夠產生“自我”的意識。的確，在人類和大量現(xiàn)有數(shù)據(jù)的幫助下，計算機可以表現(xiàn)得十分強大，但是離開了這兩者，它甚至都不能分辨兩只小動物。

深度學習算法自動提取分類所需的低層次或者高層次特征。高層次特征是指該特征可以分級(層次)地依賴其他特征。例如，對于機器視覺，深度學習算法從原始圖像去學習得到它的一個低層次表達，如邊緣檢測器、小波濾波器等，然后在這些低層次表達的基礎上再建立表達，如這些低層次表達的線性或者非線性組合，然后重復這個過程，最后得到一個高層次的表達。

深度學習能夠得到更好地表示數(shù)據(jù)的特征，同時由于模型的層次、參數(shù)很多，容量足夠，因此，模型有能力表示大規(guī)模數(shù)據(jù)。所以對于圖像、語音這種特征不明顯(需要手工設計且很多沒有直觀的物理含義)的問題，能夠在大規(guī)模訓練數(shù)據(jù)上取得更好的效果。此外，從模式識別特征和分類器的角度來看，深度學習框架將特征和分類器結合到一個框架中，用數(shù)據(jù)去學習特征，在使用中減少了手工設計特征的巨大工作量，因此，不僅效果更好，而且使用起來也有很多方便之處。

當然，深度學習本身并不是完美的，也不是解決任何機器學習問題的利器，不應該被放大到一個無所不能的程度。

小結

本文主要介紹了機器學習、數(shù)據(jù)挖掘以及當前最熱門的深度學習。深度學習可以說掀起了人工智能的又一次熱潮，但是大家要清楚地認識到，這離真正的AI(人工智能)還差得很遠。但總的來說，我們離電影中描述的未來世界更近了一步，不是嗎?