avatar

奥尔特曼:人类控制必须约束超级智能,不能为能力让路

OpenAI 首席执行官萨姆·奥尔特曼表示,人类控制应当是超级智能的一项约束条件,不能为了更强的模型能力把它交换出去。

avatar
Surf AI ·

TL;DR:

  • 奥尔特曼认为,未来该由人来做主,而不是由 AI 系统指定目标、人去执行。
  • 在他看来,人类监督和问责是 AI 进步被接受的前提,不是可有可无的附加项。
  • 他明确反对让自主性越来越强的系统来决定人类该优先追求什么。

核心主张

萨姆·奥尔特曼表示,超级智能的发展要受人类控制的约束,能力提升不能成为绕开它的理由。

摘要

奥尔特曼认为,未来仍应由人来掌握。他反对把人放在执行 AI 系统所选目标的位置上。他说 OpenAI 不该把决定权交给超级智能系统,并把人的自主性列为 AI 进步能够被接受的条件,而不只是愿景里的说法。

分析

奥尔特曼把人类控制当成 AI 安全的核心要求,而非伦理偏好。先进系统得保持可引导、可问责,并服从正当的人类决策。他是 OpenAI 的首席执行官,这个位置让这番话有了具体指向:公司的对齐工作不只关乎防止具体危害、提高模型可靠性,还关乎由谁来决定文明往哪走。这也把另一种做法划到了界线之外:只顾提升能力,同时让自主性越来越强的系统去决定人类该追求什么结果。对能证明自己具备切实监督与控制能力的开发者,这个立场是有利的;对自主性可能超出制度问责范围的智能体系统,要求则更高。

影响评估

  • 重要性:高
  • 类别:AI 安全、AI 政策、行业趋势

Surf 仅提供信息,不构成投资建议。所有投资决策均由您自行承担风险。请自行进行研究(DYOR)。

奥尔特曼:人类控制必须约束超级智能,不能为能力让路 | Surf AI