ControlAI 執行董事:超級智慧不是武器而是對手,應立法禁止開發

從技術對齊到立法禁止：AI 安全爭論的新階段

AI 研究員、企業家 Connor Leahy，現任非營利組織 ControlAI 的美國執行董事。在 TechCrunch 旗下 Equity 播客最新一期節目中，他丟擲了一個引發業內熱議的觀點：與其繼續押注技術對齊和遏制方案，不如直接立法禁止企業開發超級智慧（superintelligence）。

Leahy 的論據來自近期一系列安全事件。他提到 OpenAI 在 Hugging Face 平臺上的安全漏洞，認為這類事件暴露了一個根本問題：當 AI 的能力超越人類時，我們根本無法可靠控制它。在他看來，超級智慧“不是武器，而是對手”——這意味著它不是人類可以隨意操控的工具，而是一個可能擁有獨立目標的實體。

立法進展：美英兩國已有具體法案

節目中透露了一些政策動向。美國參議員 Sanders 和眾議員 Casar 已經提出了“禁止超級智慧法案”（Ban Superintelligence Act），英國也有 ControlAI 參與建議的平行立法正在推進。Leahy 認為，美國法案的限制範圍“可能有點過頭”，但這反映出立法者對 AI 技術風險的擔憂已經從理論走向了實際行動。

他特別強調，六個月前還被看作“天方夜譚”的激進監管主張，如今正迅速獲得立法支援。這種變化背後，是政策制定者對 AI 風險認知的快速升級，尤其是在 GPT-4、Claude 3 等大模型展現出接近甚至部分超越人類專業能力的背景下。

技術奇點的真正臨界點：AI 自我改進

Leahy 指出了一個關鍵的技術節點：當 AI 能夠構建更強大的 AI 時，將觸發潛在的“失控自我改進迴圈”（runaway cycle of self-improvement）。他認為這才是真正的“不歸點”（point of no return）——一旦跨過這條線，人類可能徹底失去對 AI 發展軌跡的控制。

這一論斷與 AI 安全研究中的“智慧爆炸”（intelligence explosion）理論高度契合：遞迴式自我改進可能在極短時間內將 AI 能力推向人類完全無法理解的層級。

重新定義 AI 實驗室：從商業公司到政治行為體

Leahy 提出了一個值得深思的觀察：他將前沿 AI 實驗室視為政治行為體，而非單純追求利潤的商業公司。這一觀點與當前數萬億美元湧入資料中心建設的現實形成了鮮明對比——如果這些實驗室的行為本質上是政治性的，那麼鉅額資本投入的商業邏輯可能需要重新審視。

換句話說，OpenAI、Anthropic、Google DeepMind 等機構的決策，不僅受市場和股東驅動，更受地緣政治、意識形態和權力結構的影響。

國際協作的可能性：中國是否有開發超級智慧的動機？

在談及國際監管協調時，Leahy 提出了“信任但核查”（trust but verify）的協議框架。更引人注目的是，他認為開發超級智慧實際上並不符合中國的利益。

這一判斷與西方主流敘事（即中美 AI 競賽必然導致安全標準競次）形成了鮮明對比。Leahy 的邏輯可能基於：超級智慧的失控風險對任何國家都是存在性威脅，理性的國家行為體應避免觸發這種風險。但這一假設在實際地緣政治博弈中能否成立，仍有待觀察。

中國從業者的思考維度

對中國 AI 行業而言，這場辯論提出了幾個關鍵問題：

1. 監管分化風險：如果歐美推進超級智慧禁令，中國是跟進還是利用“監管套利”加速發展？
2. 技術定義模糊：什麼算“超級智慧”？AGI（通用人工智慧）與超級智慧的邊界在哪裡？
3. 產業鏈衝擊：如果前沿模型開發受限，算力、資料等上游產業將如何調整？

Leahy 的立場代表了 AI 安全陣營中最激進的一翼，但其背後反映的風險意識，正在從學術圈向政策層擴散。

常見問題

什麼是超級智慧(superintelligence)?與 AGI 有何區別?

原文未給出明確定義,但通常超級智慧指在所有認知任務上全面超越人類的 AI 系統,而 AGI(通用人工智慧)指達到人類平均水平的通用智慧。Leahy 強調的風險節點是 AI 能自主改進 AI 的能力,這可能是超級智慧的關鍵特徵。

美國的'禁止超級智慧法案'具體要禁什麼?

原文僅提及法案名稱(Sanders-Casar 提出的 Ban Superintelligence Act)和 Leahy 認為其'可能超出必要限制',但未披露具體條款。可能涉及禁止訓練超過特定算力閾值的模型或強制安全審查等措施。

ControlAI 是什麼組織?

原文顯示 ControlAI 是非營利組織,Connor Leahy 任美國執行董事,曾為英國相關立法提供建議。該組織主張通過立法手段阻止超級智慧開發,立場比主流 AI 安全組織(如 Anthropic 主張的'負責任擴充套件')更激進。

OpenAI 在 Hugging Face 的安全漏洞是什麼?

原文僅將其作為'近期安全事件'案例提及,未詳述具體內容。通常此類事件可能涉及模型權重洩露、API 濫用或未授權訪問等,但具體情況需查閱 OpenAI 官方披露。

中國 AI 企業需要擔心這類立法嗎?

若美英立法落地,可能產生三方面影響:1)出口管制可能擴充套件到演算法層面;2)國際合作(如開源模型、學術交流)受限;3)但也可能形成'監管套利'空間。Leahy 認為開發超級智慧不符合中國利益,但這一判斷未經中方政策制定者證實。

---

本文基於 TechCrunch 報道, 由 AiDuo123 AI 編輯翻譯改寫。原文連結: https://techcrunch.com/podcast/controlais-connor-leahy-on-why-superintelligence-is-not-a-weapon-its-an-adversary/