對于超級人工智能的出現，我們是期待的，因為它的出現意味著不少工作可以以高效率的方式來完成。可是，作為一款號稱智慧遠超最聰明、最有才華的人類的AI，關于它可能帶來的災難性風險的討論并沒有停止腳步。

[[375721]]

近期，一群科學家組成的研究團隊使用理論計算來證明遏制類算法并不能控制超級人工智能，這個研究主要是為了解決牛津哲學家尼克·博斯特羅姆（Nick Bostrom）提出的控制問題：我們如何確保超級人工智能為我們的利益服務？

根據超級人工智能的假設問題，研究人員構設一種理論上的遏制算法，該算法可以模擬AI的行為，并在AI程序的動作存在有害行為時自動停止程序來解決該問題。

在嘗試運行該試驗模型時，分析人員通過分析結果，發現建立一種可以控制超級人工智能的機器算法從根本性質上來說是不可能的。

[[375722]]

該團隊成員伊亞德·拉萬（Iyad Rahwan）表示，如果將問題分解為理論計算機科學的基本規則，就會發現，命令AI不破壞世界的遏制算法存在無意中止其自身運行的可能性。

若發生這種情況，用戶其實并不知道遏制算法是否仍在分析超級人工智能可能存在的威脅，或者它是否已經順利停止有害的AI。因此，這種狀況的出現會導致遏制算法無法得到有效使用。

根據研究發現，由于計算的基本局限性，目前暫時沒有一種算法可以順利計算出超級AI是否會危害世界。

假設超級人工智能將包含一個程序，該程序包含通用圖靈機在輸入時可能會像世界級狀況一樣復雜地執行所有程序，按照這么高的標準建立圍堵遏制算法，基于這個基礎對該超級AI程序進行仿真，這在理論上是不可能的。

[[375723]]

到目前為止，這種類型的超級AI仍僅限于幻想領域，不過，研究人員表示，AI技術的發展正朝著科幻小說作家所設想的超級智能系統的類型邁進。

研究團隊里面的成員之一、來自馬克斯·普朗克人類發展研究所的曼努埃爾·塞布里安（Manuel Cebrian）表示，已經有AI機器可以實現獨立執行某些重要任務，而程序員并沒有完全了解它們是如何學習做到的。

因此，基于這個存在而提出一個問題，在某個時候這是否可能變得不可控制并對人類構成危險。

不管如何，發展超級人工智能的趨勢并不會按下暫停鍵，只是，關于遏制超級人工智能的方式還是要保持跟進的，只有類似法律指引人類日常規范一般對超級人工智能形成一個制約，才可以讓AI為我們服務，而不是造成災難。