想法比世界領先 20 年的 AI 深度學習之父 Geoffrey Hinton：以神經網絡模擬大腦

近幾年愈來愈多的技術通來人工智能的深度學習來實現，包括語音分析、圖像識別等等。

但原來在剛開始發展電腦的時候，深度學習已經被提出，但由於當時的電腦運算能力不足，因此效率不彰，一直處於學術界的邊緣領域。

在 20 年前已經提出以反向傳播算法來訓練人工智能的 AI 教父 Geoffrey Hinton ，是深度學習的創始者。隨著電腦運行速度及互聯網的出現，他的理論近年終於得到實現，並將「深度學習」從邊緣課題變成了谷歌等互聯網巨頭仰賴的核心技術，為人工智慧的發展奠定了基礎。

從人腦開始嘗試了解人工智慧學習以及計算的過程

「人腦的工作原理就像全息圖一樣，創建一個3D全息圖，需要大量的記錄入射光被物體多次反射的結果，然後將這些信息存儲進一個龐大的數據庫中。」

英國出生的他，最初把 Hinton 引上人工智慧這條路的，是他對人腦的著迷和好奇。

Hinton 在英國劍橋大學時修讀的不是電腦，而是心理學。他想了解人腦的運作方式，但在就讀的過程中，他發現科學家並不能解釋人類大腦中數十億的神經之間，到底是如何通過神經突觸之交的交流進行學習以及計算的。

「我的想法是，如果你想了解大腦的運作方法，你就應該自己建造一個。」

於是，他決定透過建造計算機來模擬大腦。在 1978 年在愛丁堡大學獲得人工智慧博士學位後，他進入人工智慧領域，開始了他近 40 年的研究生涯。

以神經網絡模擬大腦幫助人工智慧「深度學習」

早在1960年，神經網絡概念已經誕生，美國認知心理學家 Frank Rosenblatt 基於神經元的理論發明瞭一種模擬神經元的方法，這些神經元可以獲取傳入數據並進行學習，所以神經網絡可以隨著時間的推移做出決定。理論上，電腦可以在人輸入圖像之後，透過思考和學習，最後將圖中的影像進行分類。

但由於當時的人工智慧理論只有兩層神經元，一個輸入層和一個輸出層。如果在輸入層和輸出層之間加上更多的網絡，理論上可以解決大量不同的問題，但是沒人知道如何訓練它們，所以這些神經網絡在應用領域毫無作用。加上感知器的處理能力有限，加上當時設備有限，許多人放棄了對於人工智能的研發。

在整整三十年間，學界都認為把人工智能領域導向神經網絡方向是自尋死路，沒有人相信這個理論能夠成功。

他的論文曾被深度學習研討會拒收，主流人工智慧圈根本不把神經網絡的研究放在眼裡。

但 Hinton 沒有放棄他的想法。

不想自己的研究被用到軍事上搬到加拿多繼續研究

在他開始研究的時候，為了找到一個支持他研究神經網絡的棲身之處， Hinton 在美國輾轉多地。但是，當時大部分的學術研究都是受到國防部支持。

「我不希望我的技術被用於一些我認為不好的地方。」

抱著這個念頭，他拒絕了許多的學術研究部，最終在1987年的時候，落腳在加拿大的多倫多大學。

通過「反向傳播算法」訓練神經網路卻受制於當年設備不足

在80年代早期，他就參與了一個雄心勃勃的關於使用計算機的軟硬件來模擬大腦的研究，這形成了早期的 AI 技術研究分支，就是現在被稱為「深度學習」。神經網路本質就是在多重層級上運作的軟體，軟體內部連結的方式就是參考處理視覺、語言等複雜資訊的大腦皮質神經排列。

在 1986 年，學者包括 Hinton 及他兩名同事提出「反向傳播算法」(Backpropagation) 訓練神經網路，對網絡中所有權重計算損失函數的梯度，這個梯度會反饋給最優化方法，用來更新權值以最小化損失函數。這篇論文被定義為現今所有深度學習技術的基礎。

換句話來說，AI 會在計算出最後的結果之後，跟最初的數據作為比較，分析出在每個步驟之間的誤差值，從而進行改善，提升準確度。

然而提出反向傳播算法之後，雖然點燃了研究者對該領域的興趣，但 Hinton 並沒有因此而迎來事業的蓬勃發展。

當時電腦還沒有強到能處理神經網路所需的大量資料。人工智慧圈子亦不看好他們，轉而研究類似大腦的行為表現，而非模仿大腦運作的原理，令神經網絡的風頭被更加高效的機器學習工具蓋過。Hinton 是當年少數仍在研究神經網絡方向的人工智慧專家。

這個情況整整持續了20年，直到世界突然追上了他的步伐。

電腦運行速度提升及互聯網出現想法終於得以實行

在 2000 至 2010 間，計算機的運行速度有了巨大的提高，他們獲得了所需的計算技術，並實現了早期的許多想法。

在2004年的時候，加拿大高級研究所 (Canadian Institute for Advanced Research，CIFAR) 提供了些許資金，再加上 LeCun 和 Bengio 的支持，Hinton 建立了神經計算與響應式感知（Neural Computation and Adaptive Perception ）專案。這是一個由電腦科學家、生物學家、電子工程學家、神經學家、物理學家及心理學家組成的團體。

在團隊成立後，他們製作了更強大的深度學習演算法，能夠處理更多的數據。同時，隨著超快速芯片的到來，以及互聯網上產生的大量數據，使 Hinton 的想法可以實行出來。

2012年，和他的學生帶著參加了那一年的挑戰，以16％錯誤率取勝，錯誤率比第二名低了整整 10%。

從此，「深度學習」的時代降臨。