AI進(jìn)化史之“技術(shù)兵分兩路”
本文轉(zhuǎn)載自微信公眾號「 產(chǎn)品二姐」，作者產(chǎn)品二姐。轉(zhuǎn)載本文請聯(lián)系產(chǎn)品二姐公眾號。
1. 前文回顧
上一篇我們講到了AI歷史上的兩位開創(chuàng)人物：
Marvin Minsky：發(fā)明了世界上第一個強化學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)SNARC
Frank Rosenblatt：發(fā)明了世界上第一臺感知器（Perceptron）實現(xiàn)AI歷史上最初級的圖像識別。
Marvin 和Frank二人也是高中校友，都出自鼎鼎大名的布朗克斯科學(xué)高中（美國以盛產(chǎn)諾貝爾獎著稱的頂尖高中），兩人也是學(xué)術(shù)好友。
圖片
然而，隨著時間的推移，兩人在學(xué)術(shù)道路上分道揚鑣。實際上，在AI誕生初期，實現(xiàn)智能的方式就分成了兩派，符號主義和連接主義。
- 符號主義：可以簡單的理解為通過”程序語言（符號）”來“教“會機器變得智能，也就是說，所有機器運行的規(guī)律都是通過程序注入規(guī)則而產(chǎn)生的智能。
- 連接主義：可以簡單的理解為模擬人腦神經(jīng)元的”連接“過程來讓機器自己”學(xué)習(xí)“，達(dá)到智能的目的，也就是上一篇里講到的以”感知器“為開始的神經(jīng)網(wǎng)絡(luò)算法。今天我們所熟知的ChatGPT ，AIGC 工具底層主要是用的連接主義算法。
圖片
2. 符號主義誕生
符號主義誕生之初最具代表性的產(chǎn)物就是John McCarthy（1971年圖靈獎得主） 的LISP 語言，學(xué)習(xí)過計算機語言的朋友提起LISP，就像是拜”祖師爺“一樣，甚至在二零零幾年的時候，還有一股LISP的”文藝復(fù)興“,用一個類比來說，LISP之于計算機語言相當(dāng)于幾何學(xué)中的《幾何原本》。Python, js 這些你熟知的語言最早都可以追溯到LISP.
圖片
對象編程之父Alan Kay （2003年圖靈獎得主）曾說，”他的面向?qū)ο缶幊天`感一部分來自于LISP“.（參考Alan Kay自述）。
圖片
放在今天可能我們都很難理解LISP和人工智能有啥關(guān)系？甚至有一位朋友說覺得LISP語言像一個玩具一樣。但在ACM(美國計算機協(xié)會)的官網(wǎng)上，我們可以看到，60年前 John Mcarthy創(chuàng)建LISP，就是為了研究人工智能而產(chǎn)生一個重要工具。
圖片
假使John McCarthy穿越活到今天，他可能會拍著程序員的肩膀說：哥們，你現(xiàn)在做的可比我當(dāng)年的“人工智能”厲害多了。
當(dāng)然符號主義后來的發(fā)展也絕不僅僅是LISP 編程語言。廣義上講，在2010s以前，符號主義及其衍生出來的各種機器學(xué)習(xí)算法幾乎占據(jù)了AI歷史的大半江山，留給連接主義的發(fā)展空間只有”涓涓細(xì)流“。我們暫把符號主義一派擱置放在后面講，先看看連接主義是如何遭受重創(chuàng)的。
3. 連接主義遭受重創(chuàng)
本來AI 在1956年誕生后，學(xué)術(shù)界分成兩派也無可厚非，并且兩派都拿到了美國軍方的”贊助“經(jīng)費，可以說在1960年代，兩派的實力懸殊并不大。
[批注]當(dāng)時《紐約時報》對上一篇提到的Frank Rosenblatt的”馬克一號感知器“的報道標(biāo)題是《新海軍設(shè)備邊做邊學(xué)：心理學(xué)家展示旨在閱讀和變得更聰明的計算機胚胎》(NEW NAVY DEVICE LEARNS BY DOING: Psychologist Shows Embryo of Computer Designed to Read and Grow Wiser)，可見”馬克一號感知器“是為軍方研制的。而在Marvin Minsky晚年接受采訪時也提及1970年以前美國國防高級研究計劃局DARPA（Defense Advanced Research Projects Agency）對科研的投資力度很大，這一時期被稱為“AI Golden Time”。
然而隨著時間的推移，Marvin所在的符號主義陣營越來越強大，其中必須要提的三位大人物是：
- John McCarthy：他和Marvin是普林斯頓博士期間的同學(xué)，曾在麻省理工任教和Marvin是同事。McCarthy就是LISP 語言的發(fā)明者，后來在1971獲得圖靈獎。
- Allen Newell：創(chuàng)辦了當(dāng)今世界計算機排名前三的CMU(卡耐基梅隆大學(xué)），后來在1975獲得圖靈獎。
- Herbert Simon：和Allen Newell一起創(chuàng)辦CMU(卡耐基梅隆大學(xué)），后來在1975與Allen Newell同獲圖靈獎，同時還是1978的諾貝爾經(jīng)濟學(xué)獎得主。
這三位加上Marvin Minsky可以說是當(dāng)時AI界的四大領(lǐng)軍人物，地位不亞于今天的深度學(xué)習(xí)三巨頭（辛頓，本杰明，楊立昆）。而連接主義的Frank Rosenblatt這一邊的研究主要在康奈爾大學(xué)，顯得形單影只。
圖片
這種實力懸殊在1969年以Marvin Minsky 的一本書《Perceptrons》（感知器）達(dá)到高潮，這本書雖然以Frank發(fā)明的“Perceptrons”命名，卻并非為連接主義發(fā)聲，書中Marvin Minsky 明確的提出連接主義的缺陷，這意思仿佛是說：“不是我不懂，而是我懂所以我覺得不行”。而同一年Marvin Minsky 獲得了計算機界的最高獎項圖靈獎。
圖片
可以想象，當(dāng)時還僅僅在學(xué)術(shù)界處于“孕育”階段，尚未走向市場的人工智能，有幾個搞科研的人能石頭碰雞蛋去與圖靈獎得主斗爭，估計發(fā)一篇連接主義的論文，審稿人都會直接拒絕。
禍不單行，1970年，“連接主義之父”Frank在一次事故中意外去世，連接主義僅剩的“辯手”也是巨星隕落，預(yù)示著連接主義即將到來的寒冬。
圖片
4. 連接主義的缺陷？
先拋開學(xué)術(shù)陣營，我們來看看Marvin Minsky反對連接主義的理由。在Marvin Minsky的《Perceptrons》，提到連接主義連一個最簡單異或問題都無法解決，接下來就以異或問題為例看看Marvin的觀點。
4.1 什么是異或
異或是一種邏輯計算，用數(shù)學(xué)符號表示是：A (XOR) B。舉個例子，在判卷時，機器會拿著標(biāo)準(zhǔn)答案與考生答案做對比，二者不一致則判錯，二者一致則判對。為了簡單，我們拿判斷題（答案為Y或者N）為例，如下圖所示：
圖片
我們把這個邏輯來建模，輸入有兩個值：
- X1 是標(biāo)準(zhǔn)答案
- X2是考生答案
輸出有一個值：
- 當(dāng)X1和X2相同，則輸出正確，用0表示
- 當(dāng)X1和X2不同，則輸出錯誤，用1表示
我們將Y用1表示，N用0表示，那么對應(yīng)的輸入輸出就有以下四種可能性：
X1(Input) | X2(Input) | Y=XOR(X1,X2) |
0 | 0 | 0 |
0 | 1 | 1 |
1 | 0 | 1 |
1 | 1 | 0 |
這是一個非常簡單的案例，但是當(dāng)我們試著用連接主義的方法來解的時候，似乎不是那么容易。
4.2 用連接主義能解決異或問題嗎？
按照上一篇講的神經(jīng)元模型：假設(shè)有兩個輸入，
- 當(dāng)
時，輸出為1； - 當(dāng)
時，輸出為0 。
我們把
放在坐標(biāo)系里，連接主義的觀點是，神經(jīng)元可以學(xué)習(xí)到權(quán)重參數(shù)，使我們可以劃出一條線，能將進(jìn)行分類，比如下圖中：
- 位于位于直線上方的區(qū)域，神經(jīng)元輸出為1;
- 位于位于直線下方的區(qū)域，神經(jīng)元輸出為0;
圖片
但是，當(dāng)我們像剛才一樣把異或運算的兩個輸入值畫在的坐標(biāo)系里，我們期待一條直線，能把異或的四對輸入值（0,0), (0,1),(1,0),(1,1)分成兩類，其中
- (0,0)和(1,1)為一類，他們對應(yīng)神經(jīng)元的輸出為0，如下圖紅色點所示。
- (0,1)和(1,0)為一類，他們對應(yīng)神經(jīng)元的輸出為1，如下圖綠色點所示。
請問你是否可以找到一條線將紅綠點分開？答案是不能。
圖片
這樣看起來，似乎感知器真的不能很簡單的解決這樣的異或問題。這也是Marvin 在挑戰(zhàn)連接主義時經(jīng)常舉的例子。難道模擬人類神經(jīng)網(wǎng)絡(luò)的連接主義真的如此不堪一擊嗎？
