热议：OpenAI CEO公布AGI规划，谨慎思考超级智能风险与人类未来-- 迪族网

热议：OpenAI CEO公布AGI规划，谨慎思考超级智能风险与人类未来

来源：智东西　2023-02-28 22:43:00

智东西

编译 | ZeR0

(资料图片)

编辑 | 漠影

智东西2月25日消息，OpenAI CEO萨姆·阿尔特曼（Sam Altman）发布博客文章，分享OpenAI对通用人工智能（AGI）的当前和后续规划，以及OpenAI如何驾驭AI安全风险、转向营利性公司结构后如何分配收益和治理等话题。

阿尔特曼强调OpenAI的使命是 确保AGI造福全人类 ，AGI如果被成功创造出来，可通过增加丰富度、推动全球经济发展以及帮助发现改变可能性极限的新科学知识，来帮助我们提升人类。

他认为短期内，成功应对AI部署挑战的最佳方法是采用 快速学习和谨慎迭代的紧密反馈循环 ；长期来看，过渡到一个拥有超级智能的世界可能是人类历史上 最重要、最有希望、最可怕 的项目。

他还重申OpenAI的公司结构与正确的激励措施保持一致，强调 OpenAI由“非营利组织”管理、为人类利益服务的原则能凌驾于任何营利利益之上、股东可获得的回报有上限 。

博客地址： https://openai.com/blog/planning-for-agi-and-beyond/

一、 OpenAI 最关心的 AGI 三原则

博客文章写道，AGI有潜力赋予每个人不可思议的新能力；我们可以想象这样一个世界，所有人都可以在几乎所有认知任务中获得帮助，为人类的聪明才智和创造力提供巨大的力量倍增器。

另一方面，AGI也会带来滥用、严重事故和社会混乱的风险。由于AGI的优势很大，OpenAI不认为社会永远停止其发展是可能的或可取的；社会和AGI的开发者必须想办法把它做好。

阿尔特曼在文中阐明了OpenAI最关心的原则：

1、希望AGI能让人类在宇宙中最大限度地繁荣发展。不期望未来是个不合格的乌托邦，但希望最大化好，最小化差，让AGI成为人类的放大器。

2、希望广泛和公平地分享AGI的好处、获取和治理。

3、希望成功应对巨大风险。在面对这些风险时，理论上看似正确的事情在实践中往往表现得比预期的更奇怪。OpenAI认为必须通过部署功能较弱的技术版本来不断学习和适应，尽量减少“一次成功”的情况。

二、短期内，为 AGI 做好的三项准备

OpenAI认为有三件事很重要，可为AGI做准备。

首先，当不断创建更强大的系统，OpenAI希望部署它们，并获得在现实世界中操作它们的经验。OpenAI相信这是谨慎管理AGI存在的最佳方式， 逐渐过渡到 AGI 世界比突然过渡要好 。OpenAI期望强大的AI能够加快世界的进步速度，而且最好是逐步适应这一点。

渐进式的过渡让人们、政策制定者和机构有时间了解正在发生的事情，亲身体验这些系统的好处和缺点，调整经济并实施监管。它还允许社会和人工智能（AI）共同进化，让人们在风险相对较低的情况下共同找出自己想要的东西。

OpenAI目前认为， 成功应对 AI 部署挑战的最佳方法是采用快速学习和谨慎迭代的紧密反馈循环。 社会将面临AI系统被允许做什么、如何消除偏见、如何处理工作岗位流失等重大问题。 最佳决策将取决于技术发展路径 ，就像任何新领域一样，到目前为止，大多数专家预测都是错误的。这使得脱离实际进行规划非常困难。

总的来说，OpenAI认为在世界上更多地使用AI会带来好处并希望推动它（通过将模型放入OpenAI API中、将它们开源等）。OpenAI相信，民主化的获取也将带来更多更好的研究、分散的权力、更多的利益以及更多的人贡献新的想法。

随着其系统越来越接近AGI，OpenAI对模型的创建和部署变得越来越谨慎。其决定将需要比社会通常对新技术应用的谨慎得多，也比许多用户希望的谨慎得多。AI领域的一些人认为AGI（及后继系统）的风险是虚构的；如果结果证明他们是对的，OpenAI会很高兴，但OpenAI会以认为这些风险存在的方式来运作。

某些时候，部署的利弊之间的平衡（例如授权恶意行为者、造成社会和经济破坏、加速不安全的竞争）可能会发生变化，在此情况下，OpenAI将会显著改变围绕持续部署的计划。

其次，OpenAI正在努力创建更加一致和可控的模型。从GPT-3第一版模型到InstructGPT和ChatGPT的转变就是一个早期的例子。

特别是，OpenAI认为重要的是 社会就 “ 如何使用 AI 的广泛界限 ” 达成一致 ，但在这些界限内，个人用户有很大的自由裁量权。OpenAI最终希望世界机构就“这些广泛的界限应该是什么”达成一致；在短期内，OpenAI计划进行外部投入实验。世界各机构需要增加更多的能力和经验，以便为有关AGI的复杂决策做好准备。

OpenAI产品的“默认设置”可能会受到很大限制，但OpenAI计划让用户更轻松改变他们正在使用的AI的行为。OpenAI相信赋予个人做出自己决定的能力和思想多样性的内在力量。

随着其模型变得更加强大，OpenAI将需要开发新的对齐（alignment）技术（并测试以了解当前的技术何时失效）。其 短期计划是使用 AI 来帮助人类评估更复杂模型的输出和监控复杂系统；长期计划是使用 AI 来帮助提出新的想法以实现更好的对齐技术 。

重要的是，OpenAI认为经常 需在AI安全和能力方面共同取得进展 。分开谈论它们是错误的二分法，它们在很多方面有关联。OpenAI最好的安全工作来自与其最有能力的模型一起工作。也就是说，提高安全进步与能力进步的比率很重要。

第三，OpenAI希望就3个关键问题展开全球对话： 如何治理这些系统，如何公平分配它们产生的收益，如何公平共享获取这些系统的机会 。

除了这三个领域之外，OpenAI还尝试以一种 使激励措施与良好结果相一致 的方式来建立其结构。OpenAI的章程中有一个条款，关于协助其他组织提高安全性，而非在后期AGI开发中与之竞争。 OpenAI 对股东可以获得的回报设定了上限，这样公司就不会被激励去不受约束地获取价值，也不会冒险部署一些具有潜在灾难性危险的东西 （当然也是作为与社会分享利益的一种方式）。

OpenAI 由一个非营利组织来管理，使其为人类的利益而经营 （并能凌驾于任何营利利益之上） ，包括让OpenAI做一些事情，比如在安全需要的情况下取消对股东的股权义务，赞助世界上最全面的全民基本收入（UBI）实验。

OpenAI认为像这样的努力在发布新系统之前必须接受独立审计；他们将在今年晚些时候更详细地讨论这个问题。某些时候，在开始训练未来系统之前，进行独立审查可能很重要，并且对于最先进的努力，同意限制用于创建新模型的计算增长速度。OpenAI认为，关于AGI何时应停止训练运行、确定模型可以安全发布、将模型从生产使用中撤出的公共标准很重要。最后，OpenAI认为重要的是世界主要政府对超过一定规模的训练有着深刻的认识。

三、长远来看：人类的未来应由人类主宰

OpenAI认为，人类的未来应该由人类决定，与公众分享有关进步的信息很重要。应该对所有试图建立AGI的努力进行严格审查，并对重大决策进行公众咨询。

第一个AGI将只是智能连续体上的一个点。OpenAI认为，进展很可能会从那里继续，可能会长期保持其在过去十年中看到的进展速度。如果真是如此，世界可能会变得与今天截然不同，风险也许是巨大的。一 个错位的超级智能AGI可能会对世界造成严重的伤害；一个拥有决定性超级智能领导的专制政权也可以做到这一点。

可加速科学发展的AI是一个值得思考的特例，也许比其他任何事情都更有影响力。能加速自身进步的AGI可能会导致重大变化以惊人的速度发生（即使过渡开始缓慢，OpenAI预计也它在最后阶段会很快发生）。

OpenAI认为 较慢的开始更容易确保安全，AGI努力在关键时刻减速可能很重要 （即使在不需要这样做来解决技术对齐问题的世界中，减速可能对给社会足够的时间来适应很重要）。

成功过渡到一个拥有超级智能的世界可能是人类历史上最重要、最有希望、最可怕的项目。 成功远未得到保证，而风险（无限的不利因素和无限的有利因素）有望将我们所有人团结起来。

OpenAI可以想象到一个人类繁荣到任何人都无法完全想象的世界。OpenAI希望为世界贡献一个与这种繁荣相一致的AGI。

结语：通往 AGI 之路， OpenAI 收获了很多礼物

在文章末尾，阿尔特曼留下脚注，称OpenAI似乎收获了很多礼物：“例如，创建AGI似乎需要大量的计算，因此世界将知道谁在研究它，似乎超进化的强化学习智能体的原始概念相互竞争，以我们无法真正观察到的方式进化智能的可能性比最初看起来的要小，几乎没有人预测我们会在预先训练的语言模型上取得这么大的进展，这些模型可以从人类的集体偏好和输出中学习，等等。”

他相信，AGI可能在不久的将来或遥远的将来出现；从最初的AGI到更强大的后续系统的起飞速度可能会慢或快。许多人认为在这个2×2矩阵中最安全的象限是短时间线和缓慢的起飞速度；更短的时间线似乎更易于协调，更有可能因较少的计算积压导致较慢的起飞，而较慢的起飞使OpenAI有更多时间来实证弄清楚如何解决安全问题以及如何适应。

“当我们第一次启动OpenAI时，我们并没有预料到扩展性会像现在这样重要。当我们意识到它将变得至关重要时，我们也意识到我们原来的结构将不起作用——我们根本无法筹集到足够的资金来完成我们作为非营利组织的使命——所以我们想出了一个新的结构。”阿尔特曼说。

“我们现在认为， 我们最初关于开放的想法是错误的，已经从认为我们应该发布所有东西 （尽管我们开源了一些东西，并期望在未来开源更多令人兴奋的东西！） 转向认为我们应该弄清楚如何安全地共享系统的访问权限和好处 。”他谈道，“我们仍然相信，社会理解正在发生的事情的好处是巨大的，实现这种理解是确保构建的东西是社会集体想要的最好方式（显然这里有很多细微差别和冲突）。”

来源：OpenAI

关键词：阿尔特曼非营利组织是错误的

推荐DIY文章