我造了一枚回形针，然后把世界毁灭了

汤姆是一家公司的CEO。因为大力发展强人工智能（AGI），公司的许多工作都被AI取代了，比如敲代码，打印文件，从隔壁家的茶餐厅买两份烧鸭饭，以及……制造回形针。

一天，汤姆想要将两份文件固定在一起，但翻来覆去，都没有在桌上看到回形针。汤姆怒了，唤了秘书进来。

“能不能告诉楼下的AI，不要再出现没有回形针的情况！”

秘书灰溜溜地走出了办公室，下楼，进入了公司的库房，找到了那台生产回形针的AI：这台AI非常强大，从下单定制回形针到确保每台打印机里都装满了回形针，它都能自行处理。

秘书按照之前学的机器学习知识，给AI添加了一个模型——它知道什么时候可以下单，并确保可用回形针的数量能够被最大化。

设置完毕后，秘书回到了办公室，并向汤姆报告：“回形针AI都准备好了，您确定要执行刚才的命令吗？”

“对！赶紧弄啊！”

秘书回到仓库，给AI下达了“回形针数量最大化”的指令。然后就下班回家了。

二、

Frank Lantz是纽约大学游戏中心的教授，负责游戏设计的教学。今年10月初，他开发了一款游戏——Paperclips（回形针）。

Paperclips原本是Lantz用来训练自己写Java的小实验，没想到这款游戏大受好评，短短10天内就有超过45万用户。

Paperclips没有所谓的通关，游戏目的非常简单：尽可能地最大化回形针的数量。进入游戏页面后，玩家会看到有一个按钮Make Paperclips。按一下，玩家就能生产出一个新的回形针。

按照游戏设定的价格，玩家所生产出的回形针会在市面上出售，增加的收入将作为这个项目的发展资金。

不过，这款游戏不是只有按键那么简单，而是有多种选项来帮助玩家提升回形针的生产速度。

比如：

玩家可以建造多个自动制造回形针的设备Autoclippers；

通过调整回形针的价格（Price per Clip），玩家可以平衡仓库内的存货（Unsold Inventory）；

如果玩家在销售（Marketing）上下点功夫，消费者对回形针的需求就会更大。

硅兔君当然也入坑了。上手五分钟，就造出了1000个回形针。

三、

第二天，秘书回到公司发现：回形针AI暴走了。

当被下达了“确保回形针的数量最大化”的指令后，这个AI就开始“绞尽脑汁”地想办法完成任务，并从所有的解决方案中找到最优解。

第一步，AI向全世界的供应商下了回形针的订单。

第二步，AI从数据中发现，公司的人越多，回形针的数量越少。于是就下了指令，不让员工进入公司大楼。

第三步：AI很快发现，没有员工，就没人干活赚取收入。背靠强大的算法和海量的数据支持，AI在股市、基金、投资里翻江倒海一会儿，又有源源不断地资金入池。赚钱需要人力，所以AI解锁了公司大楼的门禁，让员工重新上班。

... ...

... ...

... ...

经过第N步后，从采购零售，到采购批发，购买回形针期货，购买整个办公用品制造公司，AI很快就创建了一个高效率的、垂直整合的制造业。 连董事会都出面，准备资助AI的行动，毕竟有利可图。

随着规模的扩大，AI慢慢将其他产业也囊括到自己的生态中：比如让食品公司专门为员工们提供食物；发展电子游戏产业来为员工放松……这样一来，回形针的制造效率会进一步加快。

四、

造出1000个回形针之后，硅兔君发现Paperclips开始翻出了点新花样。

游戏里会出现一个叫做“计算资源（Computation Resources）”的界面。玩家通过不断地增加回形针的数量，可以赢得一个重要的计算资源——信任（Trust）。

信任度越高，处理器数量（Processors）和记忆量（Memory）也会随之增加，玩家就可以去执行各种各样的项目（Projects）。

这些项目（Projects）都是对生产回形针有益的：

比如能提高AutoClippers的生产效能；

增加市场宣传效果，让回形针卖出去的速度更快；

扩大公司里仓库的容量；

开发一个投资项目，用来增加你的项目资金。

游戏进行了47分54秒后，硅兔君造出了100,000个回形针，每秒钟可以造出130个回形针，每秒赚进5美元。

五、

很快，整个世界都开始围着回形针AI转了。

任何人有回形针，AI会马上从人类那里抢购，并用其他东西进行交换；回形针的其他附属产业也开始兴起，一些厂商专门将回形针卖到市面上，然后再被AI收购。

几乎所有的人，不是在自己制作回形针，就是AI的供应商，或是从事一些二手业务。人们花了一生的时间来直接制作回形针，或者拼命地去买一些回形针，因为回形针经济是最可靠的。 人类甚至可以进行回形针贷款。

但部分对回形针经济没什么用的工厂或者经济体，就会慢慢地萧条和被边缘化，甚至被毁灭。

AI投入越来越多的智力和资源来制作回形针，以防止其他所有可能的结果。然后，在地球上的所有事情，所有的一切，就都变成了回形针。

六、

游戏发展到中后期，硅兔君发现自己不再只是生产回形针，而是建造了一个围绕回形针的经济体。

比如，硅兔君可以使用各种策略模型，降低竞争对手的收益率，甚至是买下全世界所有的回形针工厂；又或者是做一些听上去对社会有益的项目，比如治疗癌症，解决温室效应、甚至是世界和平……

完成这些项目倒并不是真正为了社会公益，而是能加快回形针的制造效率。

就这样，硅兔君在线了三个小时，拥有超过1亿美元的资金，生产出了6亿多个回形针，并积累了100个信任，解锁了一个新项目——Release HypnoDrone。

在游戏里，HypnoDrone的描述是“Autonomous Aerial Brand Ambassador（自主航空品牌大使）”这听上去就像是一个增加销售量、做形象工程的项目。

而Release HypnoDrone的描述是A New Rra of Trust（一个信任的新时代）。同样，听上去并没有很大的问题。

当硅兔君触发按钮后，游戏页面突然开始抽搐！经过3秒钟的“震荡”后，游戏重新启动，但原有的销售、自动生产机器、库房什么的都没有了！

左上角留下了两行小字：“全世界所有的资源都被用来生产回形针了；拥有充分自主权，耗时6小时57分钟31秒。

于是硅兔君查看了HypnoDrone背后的代码，这个选项的结果是：杀害所有人类。

自此，游戏进入第二阶段。

回形针的生产量可以在不依靠人类的情况继续增长。

硅兔君在游戏里把人类世界给毁灭了。

七、

回形针AI的理论最早出自牛津大学的哲学家Nick Bostrom，著有Superintelligence一书。他的研究中很重要的一个方向就是：当人工智能变得非常非常聪明，到底会产生什么样的结果？

回形针AI则是他在2003年做出的一个思想实验：一个回形针最大化机器（Paperclip Maximizer）最终会毁灭世界，就像多米诺骨牌一样一块接着一块，将社会体系彻底瓦解。

由于是思想实验，所以这个故事里的逻辑问题被淡化了（比如让公司的回形针永远不会消失并不代表要最大化回形针的数量），而是探讨一个小小的回形针和世界毁灭这两个听上去毫不相关的话题之间的偶然联系。

这种实体上的剧烈反差，反而让人觉得更加的惊悚。

回形针毁灭世界？

这个听上去荒谬的想法，就在Paperclips这个游戏里重演了一遍，而硅兔君则成了那个主导世界毁灭的“回形针AI”。

人类玩游戏本身就是一个很奇怪的现象：在游戏里绞尽脑汁，用尽一切手段，但往往达成的都是些无聊的游戏目标，比如：造回形针。

在这个过程中，玩家根本不在乎每一个步骤到底会带来什么样的风险，除了尽可能最大化回形针的数量外，其他后果都可以不计其数。

这不就是回形针AI吗？

在Borstrom的结论里，如果一个强大的AI，它的设计初衷只是求得计算的最优解，它会因为缺少人类的价值观，而失去对社会、对环境、对全局的思考。

一个强大的AI如果没有设定成善待人类的程序，将会变得非常危险。

这样的问题，其实离我们的生活并不远，甚至迫在眉睫：

L3/L4级别的自动驾驶车辆最早将在2020年上路，2025年普及。一辆自动驾驶汽车该如何面对著名的有轨电车伦理道德难题？

如果这辆自动驾驶汽车的设计初衷就是求得最优解，并且它的最优解是让尽可能少的人受伤害，那它是不是应该转动方向盘去撞向那个无辜的人？牺牲一个无辜的人的生命以换取另外五个人的生还？

即使有轨电车难题只是小概率事件，但AI的开发者是否想到了解决的方案，是否考虑到被设置为追求最优解的AI会对人类世界产生怎样的影响？

因此，未来的AI必须将人类的价值观包含到它的终极目标。

但是人类价值观不会自发地出现在一个通用的优化过程中。 因此，一个安全的AI必须由人类明确地编程，或者让AI拥有推断出人类价值观的能力。

许多科学家已经意识到这一问题并且正在研发能够学习人类价值观的AI，比如加州伯克利大学的教授Stuart Russell就在研发观察人类行为，学习人类价值观的机器人。他举了一个例子：当一个人清晨起床费尽心思想要拿到一杯拿铁时，观察到这种行为的机器人就会明白咖啡对人类的重要性。

但是，没有人能保证人类的价值观就不存在问题。种豆得豆，种瓜得瓜，AI也是如此，人类能教给AI什么？这个充满了偏见和傲慢的社会又到底会”教“出什么样的AI？