AI，從來沒有像今天這樣，如此廣泛地影響著人類的生活，以及給人類帶來如此多的擔憂和麻煩。

像所有以往其他重大技術革新一樣，AI 的發展亦有兩面，一面向善，一面向惡，這也是當前全球各國監管機構開始積極介入的重要原因之一。

無論如何，AI 技術的發展好似已經是大勢所趨、勢不可擋，如何讓 AI 在符合人類價值觀和倫理的前提下更加安全地開發和部署，是當前所有 AI 從業者都需要認真思考的問題。

今天，OpenAI 的三位聯合創始人——CEO Sam Altman、總裁 Greg Brockman、首席科學家 Ilya Sutskever 共同撰文探討了如何治理超級智能（superintelligence）的問題。他們認為，現在是開始思考超級智能治理的好時機了--未來的人工智能系統甚至比AGI的能力還要大。

根據我們目前看到的情況，可以設想，在未來十年內，人工智能（AI）將在大多數領域達到超越人類專家的技能水平，并能開展與今天最大的公司之一一樣多的生產活動。

無論是潛在的好處和壞處，超級智能將比人類過去不得不面對的其他技術更加強大。我們可以擁有一個不可思議般繁榮的未來；但我們必須管理好風險才能到達那里。考慮到存在風險（existential risk）的可能性，我們不能只是被動地應對。核能便是其中具有這種特性的技術的例子；另一個是合成生物學。

同樣，我們必須減輕當前AI技術的風險，但超級智能將需要特殊的處理和協調。

一個起點

在我們成功引領這一發展的機會中，有許多重要的想法；在這里，我們對其中三個想法進行了初步思考。

首先，我們需要在領先的開發努力之間進行一些協調，從而確保超級智能的開發是以一種既能讓我們保持安全又能幫助這些系統與社會順利融合的方式進行。有許多方法可以實現這一點；世界上的主要政府可以共同建立一個項目，讓許多當前的努力成為其中一部分，或者我們可以通過「集體同意」（有一個新組織的支持力量，如下面建議的那樣）的方式，將前沿AI能力的增長限制在每年一定的速度。

當然，個別公司也應該以極高的標準被要求負責任地進行開發。

其次，我們最終可能需要類似于國際原子能機構（IAEA）的機構來監管超級智能的開發；任何超過一定能力（或計算等資源）門檻的努力都需要受到這一國際機構的監督，該機構可以檢查系統、要求審計、測試是否符合安全標準、對部署程度和安全級別進行限制等。追蹤計算和能源使用情況會有很大的幫助，并給我們一些希望，這個想法實際上是可以實現的。作為第一步，公司可以自愿同意開始實施這樣一個機構有朝一日可能要求的要素，而第二步，各個國家可以實施它。重要的是，這樣一個機構應專注于減少「存在風險」，而不是應該留給各個國家的問題，如定義AI應該被允許說什么。

第三，我們需要有足夠的技術能力來使超級智能安全。這是一個開放的研究問題，我們和其他人正在投入大量的精力。

不在討論范圍內的內容

我們認為，允許公司和開源項目在顯著能力門檻以下開發模型是很重要的，而不需要我們在這里描述的那種監管（包括繁瑣的機制，如許可證或審計）。

如今的系統將為世界創造巨大的價值，雖然它們確實存在風險，但這些風險水平似乎與其他互聯網技術相當，而且社會的應對方式似乎是合適的。

相比之下，我們關注的系統將擁有超越迄今為止任何技術的力量，我們應該注意不要通過將類似的標準應用于遠低于這個門檻的技術來淡化對它們的關注。

公共參與和潛力

但對，最強大的系統的治理，以及有關其部署的決定，必須有強大的公眾監督。我們相信，世界各地的人們應該民主地決定AI系統的界限和默認值。我們還不知道如何設計這樣一個機制，但我們計劃做一些試驗。我們依然認為，在這些廣泛的界限內，個人用戶應該對他們使用 AI 的行為方式有很大的控制權。

考慮到風險和困難，值得思考的是，我們為什么我們要構建這項技術。

在 OpenAI，我們有兩個基本原因。首先，我們相信它將帶來一個比我們今天所能想象的更好的世界（我們已經在教育、創造性工作和個人生產力等領域看到了這方面的早期例子）。世界面臨著很多問題，我們需要更多的幫助來解決它們；這項技術可以改善我們的社會，而每個人使用這些新工具的創造力肯定會讓我們感到驚訝。經濟增長和生活質量的提高將是驚人的。

其次，我們相信，停止構建超級智能將是一個具有非直觀風險且困難重重的決策。由于其巨大的優勢，構建超級智能的成本每年都在降低，構建者的數量也在迅速增加，而且它本質上是我們所處技術路徑的一部分，要停止它需要類似于全球監控制度的存在，而即使有這樣的制度也不能保證成功。因此，我們必須做到正確無誤。