ControlAI 执行董事:超级智能不是武器而是对手,应立法禁止开发

从技术对齐到立法禁止：AI 安全争论的新阶段

AI 研究员、企业家 Connor Leahy，现任非营利组织 ControlAI 的美国执行董事。在 TechCrunch 旗下 Equity 播客最新一期节目中，他抛出了一个引发业内热议的观点：与其继续押注技术对齐和遏制方案，不如直接立法禁止企业开发超级智能（superintelligence）。

Leahy 的论据来自近期一系列安全事件。他提到 OpenAI 在 Hugging Face 平台上的安全漏洞，认为这类事件暴露了一个根本问题：当 AI 的能力超越人类时，我们根本无法可靠控制它。在他看来，超级智能“不是武器，而是对手”——这意味着它不是人类可以随意操控的工具，而是一个可能拥有独立目标的实体。

立法进展：美英两国已有具体法案

节目中透露了一些政策动向。美国参议员 Sanders 和众议员 Casar 已经提出了“禁止超级智能法案”（Ban Superintelligence Act），英国也有 ControlAI 参与建议的平行立法正在推进。Leahy 认为，美国法案的限制范围“可能有点过头”，但这反映出立法者对 AI 技术风险的担忧已经从理论走向了实际行动。

他特别强调，六个月前还被看作“天方夜谭”的激进监管主张，如今正迅速获得立法支持。这种变化背后，是政策制定者对 AI 风险认知的快速升级，尤其是在 GPT-4、Claude 3 等大模型展现出接近甚至部分超越人类专业能力的背景下。

技术奇点的真正临界点：AI 自我改进

Leahy 指出了一个关键的技术节点：当 AI 能够构建更强大的 AI 时，将触发潜在的“失控自我改进循环”（runaway cycle of self-improvement）。他认为这才是真正的“不归点”（point of no return）——一旦跨过这条线，人类可能彻底失去对 AI 发展轨迹的控制。

这一论断与 AI 安全研究中的“智能爆炸”（intelligence explosion）理论高度契合：递归式自我改进可能在极短时间内将 AI 能力推向人类完全无法理解的层级。

重新定义 AI 实验室：从商业公司到政治行为体

Leahy 提出了一个值得深思的观察：他将前沿 AI 实验室视为政治行为体，而非单纯追求利润的商业公司。这一观点与当前数万亿美元涌入数据中心建设的现实形成了鲜明对比——如果这些实验室的行为本质上是政治性的，那么巨额资本投入的商业逻辑可能需要重新审视。

换句话说，OpenAI、Anthropic、Google DeepMind 等机构的决策，不仅受市场和股东驱动，更受地缘政治、意识形态和权力结构的影响。

国际协作的可能性：中国是否有开发超级智能的动机？

在谈及国际监管协调时，Leahy 提出了“信任但核查”（trust but verify）的协议框架。更引人注目的是，他认为开发超级智能实际上并不符合中国的利益。

这一判断与西方主流叙事（即中美 AI 竞赛必然导致安全标准竞次）形成了鲜明对比。Leahy 的逻辑可能基于：超级智能的失控风险对任何国家都是存在性威胁，理性的国家行为体应避免触发这种风险。但这一假设在实际地缘政治博弈中能否成立，仍有待观察。

中国从业者的思考维度

对中国 AI 行业而言，这场辩论提出了几个关键问题：

1. 监管分化风险：如果欧美推进超级智能禁令，中国是跟进还是利用“监管套利”加速发展？
2. 技术定义模糊：什么算“超级智能”？AGI（通用人工智能）与超级智能的边界在哪里？
3. 产业链冲击：如果前沿模型开发受限，算力、数据等上游产业将如何调整？

Leahy 的立场代表了 AI 安全阵营中最激进的一翼，但其背后反映的风险意识，正在从学术圈向政策层扩散。

本文基于 TechCrunch 报道, 由 AiDuo123 AI 编辑翻译改写。原文链接: https://techcrunch.com/podcast/controlais-connor-leahy-on-why-superintelligence-is-not-a-weapon-its-an-adversary/