OpenAI 拯救世界背后的混乱的秘密

OpenAI 拯救世界背后的混乱的秘密

人工智能大胆创新计划是本着透明的精神建立的。这是竞争压力如何侵蚀这种理想主义的内幕。

OpenAI 拯救世界背后的混乱的秘密

Greg Brockman,联合创始人兼首席技术官;Ilya Sutskever,联合创始人兼首席科学家;以及研究总监达里奥·阿

每年,OpenAI 的员工都会投票决定他们认为通用人工智能 (AGI) 何时最终会到来。这通常被视为一种有趣的联系方式,他们的估计差异很大。但是,在一个仍在争论类人自治系统是否可能的领域,一半的实验室认为它可能会在15年内发生。

在短短四年的时间里,OpenAI 已成为世界领先的人工智能研究实验室之一。它以不断吸引头条新闻的研究而闻名,与Alphabet的DeepMind等其他人工智能重量级人物并驾齐驱。它也是硅谷的宠儿,其创始人包括埃隆·马斯克(Elon Musk)和传奇投资者山姆·奥特曼(Sam Altman)。

最重要的是,它因其使命而受到赞誉。它的目标是成为第一个创建AGI的人 – 一种具有人类思维学习和推理能力的机器。目的不是统治世界;相反,该实验室希望确保该技术得到安全开发,并将其收益均匀地分配给世界。

这意味着,如果让技术的发展遵循阻力最小的路径,AGI很容易失控。狭隘的智能,即今天围绕着我们的那种笨拙的人工智能,已经是一个例子。我们现在知道算法是有偏见和脆弱的;他们可以犯下极大的虐待和欺骗;开发和运行它们的费用往往将其权力集中在少数人手中。通过推断,如果没有仁慈牧羊人的悉心指导,AGI可能是灾难性的。

OpenAI 希望成为那个牧羊人,它精心打造了自己的形象以符合要求。在一个由富裕公司主导的领域,它是一家非营利组织。该公司首次宣布,这一殊荣将使其能够“为每个人创造价值,而不是为股东创造价值”。它的章程——一份如此神圣的文件,以至于员工的薪酬与他们遵守它的程度挂钩——进一步宣布 OpenAI 的“主要信托责任是对人类的”。它继续说,安全地实现 AGI 非常重要,如果另一个组织接近首先到达那里,OpenAI 将停止与之竞争并转而合作。这种诱人的叙述在投资者和媒体中很受欢迎,今年7月,Microsoft为实验室注入了新的10亿美元。

OpenAI 拯救世界背后的混乱的秘密

但是,在OpenAI办公室的三天,以及对过去和现在的员工、合作者、朋友和该领域其他专家的近三十次采访,表明了一幅不同的画面。该公司公开支持的内容与其闭门运作方式之间存在不一致。随着时间的流逝,它允许激烈的竞争和越来越大的压力来侵蚀其透明、开放和协作的创始理念。许多在该公司工作或工作的人坚持匿名,因为他们没有被授权发言或担心遭到报复。他们的说法表明,OpenAI尽管有其崇高的愿望,但痴迷于保密,保护其形象,并保持其员工的忠诚度。

自最早的概念以来,人工智能作为一个领域一直在努力理解类人智能,然后重新创造它。1950年,英国著名数学家和计算机科学家艾伦·图灵(Alan Turing)以现在著名的挑衅“机器能思考吗?六年后,一群科学家被这个唠叨的想法所吸引,聚集在达特茅斯学院,将这门学科正式化。

“这是所有思想史上最基本的问题之一,对吧?”艾伦人工智能研究所(AI2)的首席执行官奥伦·埃齐奥尼(Oren Etzioni)说,该研究所是一家位于西雅图的非营利性人工智能研究实验室。“这就像,我们了解宇宙的起源吗?我们了解物质吗?

麻烦的是,AGI一直保持模糊不清。没有人能真正描述它可能是什么样子,或者它应该做什么的最低限度。例如,通常只有一种智能并不明显;人类智能可能只是一个子集。关于AGI可以达到什么目的,也有不同的看法。在更浪漫的观点中,不受睡眠需求或人类交流效率低下的阻碍的机器智能可以帮助解决气候变化、贫困和饥饿等复杂挑战。

但该领域内响亮的共识是,这种先进的能力将需要几十年甚至几百年的时间——如果确实有可能开发它们的话。许多人还担心,过分热衷于追求这一目标可能会适得其反。在 1970 年代以及 80 年代末和 90 年代初,该领域承诺过高,交付不足。一夜之间,资金枯竭,在整整一代研究人员身上留下了深深的伤痕。“这个领域感觉就像一潭死水,”彼得·埃克斯利(Peter Eckersley)说,直到最近,他还是行业组织人工智能伙伴关系(Partnership on AI)的研究主任,OpenAI是该组织的成员。

OpenAI 拯救世界背后的混乱的秘密

在这样的背景下,OpenAI于2015年12月11日轰然入世。它不是第一个公开宣布正在追求AGI的公司;DeepMind早在五年前就这样做了,并于2014年被谷歌收购。但OpenAI似乎有所不同。首先,标价令人震惊:该合资企业将从私人投资者那里获得10亿美元,包括马斯克,阿尔特曼和PayPal联合创始人彼得·蒂尔。

星光熠熠的投资者名单激起了媒体的狂热,令人印象深刻的初始员工名单也引起了媒体的狂热:曾为支付公司Stripe负责技术的格雷格·布罗克曼(Greg Brockman)将担任首席技术官;曾在人工智能先驱杰弗里·辛顿(Geoffrey Hinton)的指导下学习的伊利亚·萨茨克弗(Ilya Sutskever)将担任研究主任;七名刚从顶尖大学毕业或从其他公司挑选的研究人员将组成核心技术团队。(去年2月,马斯克宣布他将与该公司分道扬镳,原因是该公司的发展方向存在分歧。一个月后,Altman 辞去了创业加速器 Y Combinator 总裁的职务,成为 OpenAI 的首席执行官。

但最重要的是,OpenAI 的非营利性地位表明了这一点。“重要的是要有一个领先的研究机构,它可以优先考虑所有人的良好结果,而不是自己的利益,”公告说。“我们将强烈鼓励研究人员发表他们的工作,无论是论文、博客文章还是代码,我们的专利(如果有的话)将与世界分享。尽管它从未明确提出批评,但其含义很明确:其他实验室,如DeepMind,无法为人类服务,因为它们受到商业利益的限制。当它们关闭时,OpenAI 将开放。

在一个日益私有化并专注于短期财务收益的研究环境中,OpenAI 提供了一种新的方式来资助解决最大问题的进展。“这是一座希望的灯塔,”密切关注实验室旅程的机器学习专家Chip Huyen说。

在旧金山第18街和福尔瑟姆街的交汇处,OpenAI的办公室看起来像一个神秘的仓库。这座历史悠久的建筑拥有单调的灰色镶板和有色窗户,大部分窗帘都被拉下。字母“PIONEER BUILDING”——其前任所有者 Pioneer Truck Factory 的遗迹——用褪色的红色油漆包裹在拐角处。

在内部,空间明亮通风。一楼有几个公共空间和两个会议室。一个是适合大型会议的健康规模,称为太空漫游;另一个,更像是一个美化的电话亭,被称为 Infinite Jest。这是我在访问期间被限制的空间。我被禁止去二楼和三楼,那里有每个人的办公桌,几个机器人,以及几乎所有有趣的东西。当他们接受采访时,人们会来找我。一名员工在会议间隙训练我密切关注我。

在我到达与布罗克曼会面的美丽蓝天上,他看起来很紧张,很谨慎。“我们以前从未给过别人如此多的访问权限,”他试探性地笑着说。他穿着休闲装,和OpenAI的许多人一样,留着一个无形的发型,似乎反映了一种高效、朴素的心态。

31岁的布罗克曼在北达科他州的一个业余农场长大,他称之为“专注、安静的童年”。他挤奶,捡鸡蛋,在自学的同时爱上了数学。2008年,他进入哈佛大学,打算攻读数学和计算机科学双学位,但他很快就对进入现实世界感到不安。一年后,他辍学了,转而进入麻省理工学院,然后在几个月内再次辍学。第二次,他的决定是最终决定。搬到旧金山后,他再也没有回头。

布罗克曼带我去吃午饭,在一次全公司会议上把我从办公室带走。在街对面的咖啡馆里,他以激烈、真诚和惊奇的态度谈论OpenAI,经常将其使命与科学史上的里程碑式成就相提并论。很容易欣赏他作为领导者的魅力。他讲述了他所读过的书中令人难忘的段落,将注意力集中在硅谷最喜欢的故事上,即美国的登月竞赛。(“我真正喜欢的一个故事是看门人的故事,”他说,指的是一个著名但可能是杜撰的故事。“肯尼迪走到他面前,问他,’你在做什么?’他说,’哦,我正在帮助一个人登上月球!’”还有横贯大陆的铁路(“这实际上是最后一个完全手工完成的大型项目……一个规模巨大、完全冒险的项目“)和托马斯·爱迪生的白炽灯泡(”一个由杰出专家组成的委员会说’它永远不会奏效’,一年后他发货了“)。

OpenAI 拯救世界背后的混乱的秘密

布罗克曼意识到OpenAI所承担的赌博,并意识到它会引起愤世嫉俗和审查。但每一次引用,他的信息都很明确:人们可以随心所欲地持怀疑态度。这是大胆的代价。

那些早期加入 OpenAI 的人都记得那种能量、兴奋和使命感。该团队很小,通过紧密的联系网络形成,管理层保持松散和非正式。每个人都相信扁平化的结构,欢迎任何人提出想法和辩论。

马斯克在建立集体神话方面发挥了不小的作用。“他向我展示它的方式是’看,我明白了。AGI可能很遥远,但如果不是呢?’“加州大学伯克利分校(UC Berkeley)教授彼得·阿贝尔(Pieter Abbeel)回忆说,他在头两年与他的几个学生一起在那里工作。“’如果在未来5到10年内发生的可能性只有1%或0.1%呢?我们难道不应该仔细考虑一下吗?这引起了我的共鸣,“他说。

但这种非正式性也导致了一些方向的模糊性。2016 年 5 月,Altman 和 Brockman 接待了当时的谷歌研究员 Dario Amodei 的访问,后者告诉他们没有人理解他们在做什么。在《纽约客》上发表的一篇报道中,目前尚不清楚该团队本身也知道。“我们现在的目标……就是做最好的事情,“布罗克曼说。“有点含糊。”

尽管如此,几个月后,Amodei还是加入了团队。他的妹妹丹妮拉·阿莫迪(Daniela Amodei)之前曾与布罗克曼(Brockman)合作过,他已经认识OpenAI的许多成员。两年后,在布罗克曼的要求下,丹妮拉也加入了。“想象一下,我们从零开始,”布罗克曼说。“我们只是有一个理想,我们希望AGI进展顺利。”

到 2017 年 3 月,15 个月后,领导层意识到是时候更加专注了。因此,布罗克曼和其他一些核心成员开始起草一份内部文件,为AGI铺平道路。但这个过程很快暴露了一个致命的缺陷。当该团队研究该领域的趋势时,他们意识到保持非营利组织在经济上是站不住脚的。该领域其他人用于取得突破性成果的计算资源每 3.4 个月翻一番。布罗克曼说,很明显,“为了保持相关性”,他们需要足够的资本来匹配或超过这种指数级的增长。这需要一种新的组织模式,可以快速积累资金,同时以某种方式忠于使命。

公众和大多数员工都不知道,OpenAI 正是考虑到这一点,于 2018 年 4 月发布了其章程。该文件重新阐述了实验室的核心价值观,但巧妙地改变了语言以反映新的现实。除了承诺“避免使用危害人类或过度集中权力的人工智能或AGI”外,它还强调了对资源的需求。“我们预计需要调集大量资源来完成我们的使命,”它说,“但将始终努力采取行动,以尽量减少我们的员工和利益相关者之间的利益冲突,这可能会损害广泛的利益。

“我们花了很长时间与员工进行内部迭代,让整个公司接受一套原则,”布罗克曼说。“即使我们改变了结构,也必须保持不变的东西。”

OpenAI 拯救世界背后的混乱的秘密

这种结构变化发生在 2019 年 3 月。OpenAI 通过设立一个“上限利润”部门来摆脱其纯粹的非营利性地位——一个对投资者回报有 100 倍限制的营利性机构,尽管由一个属于非营利实体的董事会监督。不久之后,它宣布了Microsoft数十亿美元的投资(尽管它没有透露这笔投资分为现金和Microsoft云计算平台Azure的信贷)。

不出所料,此举引发了一波指责,称OpenAI正在背弃其使命。在宣布后不久,在Hacker News上的一篇文章中,一位用户询问100倍的限制将如何限制:“谷歌的早期投资者已经获得了大约20倍的资本回报,”他们写道。你敢打赌,你将拥有一个比谷歌高出几个数量级的公司结构……但你不想“过度集中权力”吗?这将如何工作?如果不是资源的集中,权力到底是什么?

此举也让许多员工感到不安,他们表达了类似的担忧。为了平息内部动荡,领导层编写了一份常见问题解答,作为一系列受到高度保护的过渡文件的一部分。“我能信任OpenAI吗?”一个问题问道。“是的,”回答开始了,然后是一段解释。

该章程是 OpenAI 的支柱。它是实验室所有策略和行动的跳板。在我们的午餐过程中,布罗克曼像经文一样背诵它,这是对公司存在的方方面面的解释。(“顺便说一句,”他在朗诵中途澄清道,“我想我知道所有这些台词,因为我花了很多时间仔细研究它们,使它们完全正确。这不像我在会议前读过这篇文章。

随着你发展更先进的能力,你将如何确保人类继续过上有意义的生活?“正如我们所写的,我们认为它的影响应该是给每个人经济自由,让他们找到今天无法想象的新机会。您将如何构建自己以均匀分布 AGI?“我认为公用事业是我们愿景的最佳类比。但同样,这一切都受制于宪章。如何在不影响安全性的情况下率先达到 AGI?“我认为绝对有这种重要的平衡行为,我们最好的机会就是宪章中的内容。

对于布罗克曼来说,严格遵守文档是 OpenAI 结构发挥作用的原因。内部协调被视为最重要的:所有全职员工都必须在同一办公室工作,只有少数例外。对于政策团队,尤其是主任杰克·克拉克(Jack Clark)来说,这意味着在旧金山和华盛顿特区之间分配生活。克拉克并不介意——事实上,他同意这种心态。他说,正是中间的时刻,比如与同事共进午餐的时间,有助于让每个人都保持在同一页面上。

在许多方面,这种方法显然是有效的:公司拥有令人印象深刻的统一文化。员工工作时间长,通过吃饭和社交时间不停地谈论他们的工作;许多人去参加同一派对,并赞同“有效利他主义”的理性哲学。他们开玩笑说,用机器学习的术语来描述他们的生活:“你的生活是由什么决定的?“你在优化什么?”“一切基本上都是最小值函数。”公平地说,其他人工智能研究人员也喜欢这样做,但熟悉OpenAI的人也同意:与该领域的其他人相比,其员工不将人工智能研究视为一种工作,而是一种身份。(11 月,布罗克曼在办公室与交往一年的女友安娜结婚,背景是以 OpenAI 标志排列的鲜花。Sutskever担任主礼人;机械手是戒指的持有者。

但在去年年中的某个时候,宪章不仅仅是午餐时间的谈话素材。在转向上限利润后不久,领导层制定了新的薪酬结构,部分基于每个员工对使命的吸收。除了标题为“统一技术阶梯”的电子表格选项卡中的“工程专业知识”和“研究方向”等栏目外,最后一列还概述了每个级别的文化相关期望。第 3 级:“您理解并内化了 OpenAI 章程。第 5 级:“您确保您和您的队友从事的所有项目都符合章程。第 7 级:“您有责任维护和改进章程,并让组织中的其他人也为此负责。


大多数人第一次听说 OpenAI 是在 2019 年 2 月 14 日。那天,该实验室宣布了一项令人印象深刻的新研究:一个只需按一下按钮就可以生成令人信服的论文和文章的模型。给它听一句话《指环王》或关于麦莉·赛勒斯入店行窃的(假)新闻报道的开头,它就会以同样的方式吐出一段又一段的文字。

但研究人员说,还有一个问题:这个名为GPT-2的模型太危险了,无法发布。如果这种强大的技术落入坏人之手,它很容易被武器化,以大规模制造虚假信息。

科学家的强烈反对是立竿见影的。一些人说,OpenAI正在做一个宣传噱头。GPT-2 还不够先进,不足以构成威胁。如果是这样,为什么要宣布它的存在,然后排除公众监督?“OpenAI似乎正试图利用围绕人工智能的恐慌,”罗格斯大学(Rutgers University)研究人工智能产生的虚假信息的助理教授布里特·帕里斯(Britt Paris)说。

OpenAI 拯救世界背后的混乱的秘密

到 5 月,OpenAI 修改了立场,并宣布了“分阶段发布”的计划。在接下来的几个月里,它陆续推出了越来越强大的 GPT-2 版本。在此期间,它还与几个研究机构合作,仔细审查该算法滥用的可能性并制定对策。最后,它在11月发布了完整的代码,它说,“到目前为止,没有强有力的证据证明被滥用。

在不断被指责寻求宣传的情况下,OpenAI 坚称 GPT-2 并不是一个噱头。相反,这是一个经过深思熟虑的实验,经过一系列内部讨论和辩论后达成一致。大家的共识是,即使这次有点矫枉过正,这一行动也将为处理更危险的研究开创先例。此外,该章程还预测,“安全和安保问题”将逐渐迫使实验室“在未来减少我们的传统出版”。

这也是政策团队在其为期六个月的后续博客文章中仔细阐述的论点,他们在我参加会议时讨论了这些论点。“我认为这绝对是成功故事框架的一部分,”政策研究科学家迈尔斯·布伦戴奇(Miles Brundage)说,他在谷歌的一份文档中强调了一些东西,“这一部分的导语应该是:我们做了一件雄心勃勃的事情,现在有些人正在复制它,这里有一些原因,为什么它是有益的。

但 OpenAI 与 GPT-2 的媒体宣传也遵循了一种既定的模式,这让更广泛的 AI 社区持怀疑态度。多年来,该实验室的重大、引人注目的研究公告一再被指责助长了人工智能的炒作周期。批评者还不止一次地指责该实验室将其结果夸大到错误描述的地步。出于这些原因,该领域的许多人倾向于与OpenAI保持一定距离。

OpenAI 拯救世界背后的混乱的秘密

这并没有阻止该实验室继续将资源投入到其公众形象中。除了研究论文外,它还在制作精良的公司博客文章中发表其结果,从写作到多媒体制作,再到每个版本的封面图像设计,它都在内部完成所有工作。有一次,它还开始制作一部关于其项目之一的纪录片,以与一部关于DeepMind的AlphaGo的90分钟电影相媲美。它最终将这项工作变成了一部独立作品,布罗克曼和他的妻子安娜现在正在部分资助。(我还同意出现在纪录片中,为OpenAI的成就提供技术解释和背景。我没有得到补偿。

随着反弹的增加,内部讨论也随之而来。员工们对不断的外界批评感到沮丧,领导层担心这会削弱实验室的影响力和雇用最优秀人才的能力。一份内部文件强调了这个问题以及解决该问题的外展策略:“为了获得政府层面的政策影响力,我们需要被视为机器学习研究和AGI最值得信赖的来源,”“政策”部分下的一行说。“研究界的广泛支持和支持不仅是获得这种声誉的必要条件,而且将扩大我们的信息。另一个,在“战略”下,写道:“明确地将ML社区视为通信利益相关者。改变我们的语气和外部信息,这样我们只有在有意选择时才会与他们对抗。


GPT-2 引发如此剧烈的反弹还有另一个原因。人们认为,OpenAI再次背弃了其早先对开放和透明的承诺。一个月后,随着营利性转型的消息传出,这项被隐瞒的研究让人们更加怀疑。难道该技术一直处于保密状态,为将来获得许可做准备吗?

但很少有人知道,这并不是OpenAI唯一一次选择隐藏其研究。事实上,它对另一项努力完全保密。

关于达到AGI需要什么,有两种流行的技术理论。一方面,所有必要的技术都已经存在;这只是弄清楚如何扩展和组装它们的问题。另一方面,需要有一个全新的范式;深度学习是目前人工智能的主导技术,但还不够。

大多数研究人员介于这些极端之间,但 OpenAI 一直几乎完全处于光谱的规模和组装端。它的大部分突破都是将更多的计算资源投入到其他实验室开发的技术创新中的产物。

布罗克曼和萨茨凯弗否认这是他们唯一的策略,但实验室严密保护的研究表明并非如此。一个名为“Foresight”的团队进行了实验,以测试他们通过训练具有越来越大的数据和计算能力的现有算法来推动人工智能能力向前发展到什么程度。对于领导层来说,这些实验的结果证实了他们的直觉,即实验室的全包、计算驱动策略是最好的方法。

在大约六个月的时间里,这些结果一直对公众隐瞒,因为OpenAI将这些知识视为其主要竞争优势。员工和实习生被明确指示不要透露他们,而那些离开的人则签署了保密协议。直到今年1月,该团队才悄悄地在人工智能研究的主要开源数据库之一上发表了一篇论文。经历过这种努力的高度保密的人们不知道该如何看待这一变化。值得注意的是,几个月前,另一篇来自不同研究人员的类似结果的论文已经发表。

一开始,这种程度的保密从来都不是本意,但后来就成了习惯。随着时间的流逝,领导层已经偏离了最初的信念,即开放是建立有益的AGI的最佳方式。现在,那些在实验室工作或在实验室工作的人印象深刻,保持安静的重要性。这包括未经传播团队明确许可,切勿与记者交谈。在我第一次访问办公室后,当我开始联系不同的员工时,我收到了一封来自通信主管的电子邮件,提醒我所有面试请求都必须通过她。当我拒绝时,她说这会破坏人们告诉我的正确性,她指示员工随时向她通报我的外展活动。前记者克拉克(Clark)在Slack上发了一条消息,称赞人们在记者“四处嗅探”时保持严密的盖子。

在一份声明中,OpenAI发言人在回应这种高度保密的声明中提到了其章程的一部分。“我们预计安全和安保问题将在未来减少我们的传统出版,”该部门指出,“同时增加共享安全、政策和标准研究的重要性。这位发言人还补充说:“此外,我们的每个版本都经过一个信息危害过程来评估这些权衡,我们希望在野外放松之前慢慢发布我们的结果,以了解潜在的风险和影响。

最大的秘密之一是OpenAI接下来正在开发的项目。消息人士向我描述,这是其前四年研究的成果:一个使用大量计算资源对图像、文本和其他数据进行训练的人工智能系统。一个小团队被分配到最初的工作中,并期望其他团队以及他们的工作最终会参与进来。在全公司会议上宣布的那天,实习生不被允许参加。熟悉该计划的人士给出了一个解释:领导层认为这是实现AGI最有希望的方式。

推动OpenAI战略的人是前谷歌员工达里奥·阿莫迪(Dario Amodei),他现在担任研究总监。当我见到他时,他给我的印象是更焦虑的布罗克曼。他有类似的真诚和敏感,但有一种不安的神经能量。说话时,他看起来很遥远,眉头紧皱,一只手心不在焉地扯着他的卷发。

Amodei将实验室的策略分为两部分。第一部分决定了它计划如何实现先进的人工智能能力,他将其比作投资者的“赌注组合”。OpenAI 的不同团队正在下不同的赌注。例如,语言团队将资金投入到一个理论上,该理论假设人工智能可以通过单纯的语言学习来发展对世界的重要理解。相比之下,机器人团队正在推进一个相反的理论,即智能需要物理化身才能发展。

就像在投资者的投资组合中一样,并非每个赌注都有相同的权重。但出于科学严谨的目的,所有的东西都应该在被丢弃之前进行测试。Amodei 指出 GPT-2 具有非常逼真的自动生成文本,作为为什么保持开放心态很重要的一个例子。“纯粹的语言是这个领域甚至我们中的一些人都有些怀疑的方向,”他说。“但现在就像,’哇,这真的很有希望。’

随着时间的流逝,随着不同的赌注高于其他赌注,它们将吸引更激烈的努力。然后它们会异花授粉和结合。目标是让越来越少的团队最终崩溃为AGI的单一技术方向。据推测,这是 OpenAI 最新的绝密项目已经开始的确切过程。

OpenAI 拯救世界背后的混乱的秘密

Amodei解释说,该战略的第二部分侧重于如何使这种不断进步的人工智能系统安全。这包括确保它们反映人类价值观,能够解释其决策背后的逻辑,并且可以在此过程中在不伤害他人的情况下学习。致力于实现这些安全目标的团队寻求开发可应用于各个项目的方法。例如,可解释性团队开发的技术可用于揭示 GPT-2 的句子结构或机器人动作背后的逻辑。

阿莫迪承认,这部分策略有些随意,较少建立在该领域的既定理论之上,而更多地建立在直觉之上。“在某个时候,我们将建立AGI,到那时,我希望对这些在世界上运行的系统感到满意,”他说。“任何我目前感觉不好的地方,我都会创建并招募一个团队来专注于这件事。”

对于所有的宣传追逐和保密,阿莫迪在说这句话时看起来很真诚。失败的可能性似乎让他感到不安。

“我们处于尴尬的境地:我们不知道AGI是什么样子的,”他说。我们不知道什么时候会发生。然后,带着谨慎的自我意识,他补充说:“任何一个人的思想都是有限的。我发现的最好的事情是雇用其他安全研究人员,他们的愿景通常与我可能想到的自然事物不同。我想要那种变化和多样性,因为这是你抓住一切的唯一方法。

问题是,OpenAI 实际上几乎没有“变化和多样性”——这是我在办公室的第三天就意识到的事实。在我被允许与员工交流的一次午餐中,我坐在最明显的多样化的桌子旁。不到一分钟后,我意识到在那里吃饭的人实际上并不是 OpenAI 员工。Neuralink是马斯克致力于计算机大脑接口的初创公司,共享同一栋建筑和餐厅。

据实验室发言人称,在120多名员工中,有25%是女性或非二元性别。她说,执行团队中还有两名女性,领导团队中有30%是女性,尽管她没有具体说明这些团队中有哪些人。(包括布罗克曼和阿尔特曼在内的四位高管都是白人男性。在我在LinkedIn和其他来源确定的超过112名员工中,绝大多数是白人或亚洲人。

平心而论,这种缺乏多样性在人工智能中很常见。去年,总部位于纽约的研究机构AI Now的一份报告发现,在领先的人工智能会议上,女性仅占作者的18%,在人工智能教授职位中占20%,在Facebook和谷歌的研究人员中分别占15%和10%。“学术界和工业界肯定还有很多工作要做,”OpenAI的发言人说。“多样性和包容性是我们认真对待的事情,并通过与 WiML、Girl Geek 和我们的学者计划等倡议合作,不断努力改进。”

事实上,OpenAI一直试图扩大其人才库。它于 2018 年开始了针对代表性不足的少数族裔的远程学者计划。但前八位学者中只有两位成为全职员工,尽管他们报告了积极的经历。拒绝留下来的最常见原因:要求住在旧金山。对于Nadja Rhodes来说,她曾经是一名学者,现在是纽约一家公司的首席机器学习工程师,这个城市的多样性太少了。

但是,如果多样性对整个人工智能行业来说是一个问题,那么对于一家使命是将技术均匀地传播给每个人的公司来说,这更像是存在的问题。事实是,它缺乏最有可能被排除在外的群体的代表。

目前还不清楚OpenAI计划如何将AGI的“利益”分配给“全人类”,正如布罗克曼在引用其使命时经常说的那样。领导层对此含糊其辞,几乎没有采取任何措施来充实具体细节。(今年1月,牛津大学人类未来研究所(Future of Humanity Institute at Oxford University)与该实验室合作发布了一份报告,提议通过分配一定比例的利润来分配收益。但作者引用了“关于……它的实施方式。这是我对OpenAI的最大问题,“一位不愿透露姓名的前员工说。

“他们正在使用复杂的技术实践来尝试用人工智能来解决社会问题,”罗格斯大学的布里特·帕里斯(Britt Paris)回应道。“他们似乎真的没有能力真正理解社会。他们只是明白,这是一个有利可图的地方,可以定位自己。

布罗克曼同意,OpenAI最终需要技术和社会专业知识来实现其使命。但他不同意社会问题需要从一开始就解决。“你究竟是如何融入道德或其他观点的?你什么时候把它们带进来,如何带进来?你可以采取的一种策略是,从一开始就尝试烘烤你可能需要的一切,“他说。“我不认为这种策略会成功。

他说,首先要弄清楚的是AGI会是什么样子。只有到那时,才是“确保我们了解后果”的时候了。

去年夏天,在转向上限利润模式和 Microsoft 注入 10 亿美元后的几周内,领导层向员工保证,这些更新不会在功能上改变 OpenAI 的研究方法。Microsoft与实验室的价值观非常吻合,任何商业化的努力都遥遥无期;对基本问题的追求仍将是工作的核心。

有一段时间,这些保证似乎是正确的,项目继续按原样进行。许多员工甚至不知道对Microsoft做出了什么承诺(如果有的话)。

但近几个月来,商业化的压力越来越大,在遥远的未来,进行赚钱研究的需求不再是一件容易的事情。在与员工私下分享他对实验室的2020年愿景时,阿尔特曼传达的信息很明确:OpenAI需要赚钱才能进行研究,而不是相反。

领导层表示,这是一个艰难但必要的权衡,因为缺乏富有的慈善捐助者,它不得不做出权衡。相比之下,总部位于西雅图的AI2是一家雄心勃勃地推进基础人工智能研究的非营利组织,其资金来自已故亿万富翁保罗·艾伦(Paul Allen)留下的自给自足(至少在可预见的未来)资金池,他以共同创立Microsoft而闻名。

但事实是,OpenAI面临这种权衡,不仅因为它并不富有,还因为它做出了战略选择,试图在其他人之前达到AGI。这种压力迫使它做出的决定似乎越来越偏离其初衷。它急于吸引资金和人才,热衷于炒作,保护自己的研究,希望保持优势,并追求计算量大的策略——不是因为它被视为实现AGI的唯一途径,而是因为它似乎是最快的。

然而,OpenAI 仍然是人才和前沿研究的堡垒,充满了真诚地努力为人类利益而努力的人。换句话说,它仍然具有最重要的元素,并且还有时间让它改变。

在我采访前远程学者 Rhodes 的采访接近尾声时,我问她关于 OpenAI 的一件事,我不应该从这个简介中省略。“我想在我看来,有问题,”她犹豫地开始。“其中一些可能来自它所面临的环境;他们中的一些人来自它倾向于吸引的人,而另一些人则被它遗漏了。

“但对我来说,感觉他们正在做一些正确的事情,”她说。“我有一种感觉,那里的人们正在认真地尝试。

更新:在 OpenAI 要求我们澄清当 Greg Brockman 说他认为不可能“将道德融入……从一开始“,在开发人工智能时,他的意图是意味着道德问题不能从一开始就解决,而不是不能从一开始就解决。此外,从哈佛辍学后,他直接转学到麻省理工学院,而不是等待一年。此外,他不是“在农场”长大,而是“在业余农场”长大。布罗克曼认为这种区别很重要。

(1)
上一篇 2023年12月3日 下午10:57
下一篇 2023年12月8日 下午2:05

更多相关内容

开始你的AI探索之旅,开启无限可能,学习AI道路上我们一起前进。