也許你覺得人工智能離你還有點遠，只存在于谷歌那巨大無比的數據中心機房，或者充滿神秘感的麻省理工學院機器人實驗室。其實，透過互聯網和智能手機，人工智能已經開始滲入我們每天的日常生活。

假設你生活在筆者老家，福建美麗的海濱城市廈門。早晨起來，當你打開手機里的“今日頭條”APP，看看今天有什么新聞時，“今日頭條”的人工智能推薦系統會根據你過去的閱讀情況，給你推薦你特別喜歡的NBA籃球明星庫里的贏球消息。上班路上，當你打開“百度地圖”APP，用語音直接說出了目的地“廈門大學”時，“百度地圖”會自動識別你略帶福建口音的普通話，并為你導航了一條不那么堵車的線路。到了公司，當你打開郵件系統時，基于人工智能的反垃圾郵件算法已經為你屏蔽了幾十條垃圾郵件，默默地幫助你提高工作效率。你還可以利用“科大訊飛”的人工智能語音輸入軟件口述完成一篇重要文件，并采用“谷歌翻譯”將文件翻譯成英文和西班牙文，然后發給你國外的客戶。中午吃完午餐，你和同事到附近的公園散步，看到草坪上有一棵樹開著紅花，非常美麗，你想知道這種花叫什么，于是你打開手機中的“形色”APP，拍照上傳，很快，人工智能圖像識別算法識別出這種花學名叫紅花羊蹄甲，又稱紫荊花，花語象征著兄弟情誼……

在這些給我們帶來方便和快樂的人工智能算法背后，最核心的就是目前人工智能領域最火熱的深度學習技術。第2章講述了人工智能在象棋和圍棋領域超越人類世界冠軍的故事，Alpha Go圍棋軟件特別強大的原因，是它的策略網絡和估值網絡，而這兩個子系統的產生，靠的也是深度學習。

也許你會問，什么是深度學習？簡單地說，機器學習是人工智能中很重要的一個學科，而深度學習是機器學習的一個分支。機器學習實現的是讓計算機透過大量的數據或以往的經驗來學習，不斷優化計算機程序的性能，實現分類或預測等功能。深度學習可以讓擁有多個處理層的神經網絡計算模型來學習具有多層次抽象數據的表示，簡單地說，深度學習能夠發現大數據中的復雜結構。這些概念雖然聽起來有點復雜，但是在本書的后續部分會作進一步的解釋。

近幾年來，深度學習在圖像識別、語音識別、自然語言處理、機器人、醫學自動診斷、搜索引擎等方面都取得了非常驚人的成果，并且通過手機和互聯網開始全面影響人類的工作和生活。在本章中，讓我們來一起重溫深度學習的歷史，并且探討人工智能和深度學習的各種應用。

早期的人工神經網絡

深度學習的概念源于人工神經網絡的研究，早期的神經網絡模型試圖模仿人類神經系統和大腦的學習機理。1943年，神經生理學家沃倫·麥卡洛克（Warren Mc Culloch）和邏輯學家沃爾特·皮茨（Walter Pitts）聯合發表了重要論文《神經活動中內在思想的邏輯演算》（A logical calculus of the ideas immanent in nervous activity）。在論文中，他們模擬人類神經元細胞結構提出了麥卡洛克-皮茨神經元模型（McCulloch-Pitts Neuron Model，簡稱MP模型，見圖3.1），首次將神經元的概念引入計算領域，提出了第一個人工神經元模型，從此開啟了神經網絡的大門，表3.1是生物神經元與MP模型。

圖3.1 MP模型

表3.1 生物神經元與MP模型

MP模型大致模擬了人類神經元的工作原理，就是將一些輸入信號進行一些變換后得到輸出結果。在圖3.1中，圖的下部是一個人工神經元，有N個輸入信號x1，x2，…，xN（對應于人類神經元的N個樹突，每個樹突與其他神經元連接得到信號），每個信號對應于一個權重（對應于每個樹突連接的重要性），即W11，W12，…，W1N，計算這N個輸入的加權和，然后經過一個閾值函數得到“0”或者“1”的輸出。輸出的結果，在人類神經元中，“0”和“1”可以代表神經元的“壓抑”和“激活”狀態，在人工神經元中，“0”和“1”可以代表邏輯上的“No”和“Yes”。

1958年，心理學家弗蘭克·羅森布拉特（Flank Rosenblatt）教授提出了感知機模型（Perceptron），感知機是基于MP模型的單層神經網絡，是首個可以根據樣例數據來學習權重特征的模型。對于線性可分為兩類的數據，按照感知機的誤差修正算法，可以根據樣例數據經過多次迭代運算，最終實現運算收斂，確定每個輸入x對應的權重W。我們把迭代運算的過程稱為“神經網絡的訓練”，最終訓練好的神經網絡可以對新的數據作分類預測。這就是最簡單的“機器學習”的過程。

受感知機模型的啟發，20世紀60年代，有不少數學家、物理學家和計算機工程師投身于神經網絡的研究。1969年時，著名的人工智能專家明斯基教授和西蒙·派珀特（Seymour Papert）教授出版了《感知機：計算幾何學導論》一書（Perceptrons∶An Introduction to Computational Geometry），書中證明了感知機模型只能解決線性可分問題，明確指出了感知機無法解決異或問題等非線性可分問題。同時，書中也指出在當時的計算能力之下，實現多層的神經網絡幾乎是不可能的事情。明斯基教授和派珀特教授對感知機研究的悲觀預測，導致了神經網絡研究的第一次低潮，此書出版后的十多年，基于神經網絡的研究幾乎處于停滯狀態。

一代宗師杰弗里·辛頓

1986年，深度學習的一代宗師杰弗里·辛頓（Geoffrey Hinton）教授開始嶄露頭角，這一年，辛頓教授、大衛·魯梅哈特（David Rumelhart）教授和羅納德·威廉姆斯（Ronald Willliams）教授在《自然》雜志上發表了重要論文《通過反向傳播算法實現表征學習》（Learning Representations by Back-propagating Errors），文章中提出的反向傳播算法大幅度降低了訓練神經網絡所需要的時間。直到30年后的今天，反向傳播算法仍然是訓練神經網絡的基本方法。同時，辛頓教授倡導的深層神經網絡，也可以很好地解決異或問題和其他的線性不可分問題。

辛頓教授（見圖3.2），1947年出生在英國。他出生于一個非常傳奇的家族，他爺爺的外公就是偉大的數學家喬治·布爾（George Boole），布爾代數的奠基人。喬治·布爾的太太叫瑪麗·埃佛勒斯（Mary Everest），是一位作家，著有《代數的哲學和樂趣》。瑪麗·埃佛勒斯的叔叔是喬治·埃佛勒斯（George Everest），英國著名的測繪學家和探險家，曾經擔任當時的英國殖民地印度的測量局局長，領導了喜馬拉雅山脈的測量工作。后來英國人以他的姓氏命名了世界最高峰——珠穆朗瑪峰，英文名為Mount Everest。辛頓教授全名Geoffrey Everest Hinton，當年他家人給他命名Everest時，也許已經對他未來勇攀科學高峰許下了祝福。順便幫文藝青年“八卦”一下，喬治·布爾的小女兒伏尼契（Ethel Lilian Voynich），就是中國讀者特別喜歡的一本小說《牛虻》的作者，她本人的生活和愛情也極其精彩，傳說她與超級間諜西德尼·雷里（Sidney Reilly，電影《007》中詹姆斯·邦德（James Bond）的原型人物）還有過一段浪漫的愛情，在這里就不再贅述了。

[[391581]]

圖3.2 一代宗師辛頓教授

辛頓教授的父親霍華德·埃佛勒斯·辛頓（Howard Everest Hinton）是昆蟲學家，曾祖父查爾斯·霍華德·辛頓（Charles Howard Hinton）是一個知名的數學家和最早期的科普作家和科幻小說家。從高中時代開始，辛頓就對人類大腦和神經網絡的奧秘深深著迷。1970年，辛頓畢業于劍橋大學，本科拿的是實驗心理學的學士學位。1978年獲得愛丁堡大學的人工智能博士學位，曾經在卡內基梅隆大學計算機系工作過5年。后來，他移居加拿大，成為多倫多大學的一位著名教授。

在辛頓教授科研生涯的前20多年里，雖然取得了不少成果，但是因為計算機的計算速度還不夠快，深層神經網絡的優化較為困難，所以基于深層神經網絡的深度學習并未在學術界取得足夠的重視，發表文章和獲取科研經費也都比較困難。辛頓教授非常堅定地默默堅持自己的研究工作，同時培養了不少優秀的學生和合作者，包括后來深度學習領域大名鼎鼎的延恩·樂存（Yann LeCun）和約書亞·本吉奧（Yoshua Bengio）。

2004年，依靠來自加拿大高級研究所的資金支持，辛頓教授創立了“神經計算和自適應感知”項目，簡稱NCAP項目。NCAP項目的目的是創建一個世界一流的團隊，致力于生物智能的模擬，也就是模擬出大腦運用視覺、聽覺和書面語言的線索來做出理解并對它的環境做出反應這一過程。辛頓教授精心挑選了研究人員，邀請了來自計算機科學、生物、電子工程、神經科學、物理學和心理學等領域的專家參與NCAP項目。后來的事實證明，辛頓教授建立這樣的跨學科合作項目對人工智能的研究是一個偉大的創舉，定期參加NCAP項目研討會的許多研究人員，比如延恩·樂存、約書亞·本吉奧和吳恩達（Andrew Ng），如圖3.3所示，后來也都取得了非常突出的成果。最核心的是這一團隊系統地打造了一批更高效的深度學習算法，最終，他們的杰出成果推動了深度學習成為人工智能領域的主流方向。2012年，辛頓教授獲得有“加拿大諾貝爾獎”之稱的基廉獎（Killam Prizes），這是加拿大的國家最高科學獎。

[[391582]]

圖3.3 左至右為樂存、辛頓、本吉奧和吳恩達

2013年，谷歌公司收購了辛頓教授創立的DNN Research公司，實際上，這家公司沒什么產品和客戶，只有3個深度學習領域的牛人，辛頓教授和他的兩個學生，分別是曾經贏得2012年的Image Net大賽的埃里克斯·克里澤夫斯基（Alex Krizhevsky）和以利亞·蘇斯科夫（Ilya Sutskever）。有人調侃Google花了幾千萬美元買了幾篇論文，筆者認為，谷歌這種大手筆引進世界最頂尖人才的方式，正好體現了谷歌兩位老板拉里·佩奇（Lawrence Edward Page）和謝爾蓋·布林（Sergey Brin）面向未來的雄才大略，非常值得中國的企業家學習。2014年，谷歌花4億美元收購Deep Mind公司時，Deep Mind公司也就是剛剛在《自然》雜志發表了一篇利用強化學習算法玩計算機游戲論文的小公司，很多人都不理解為什么這家公司值這么多錢。后來Deep Mind研發了震驚世界的Alpha Go之后，人們才開始相信佩奇和布林的遠見。