《超级智能》4：结局注定是厄运吗？

万卷好书208《100本互联网人必读》系列：《超级智能》4：结局注定是厄运吗？

文/杜豆豆

---

倾一生之力，读经典好书，写有厚度的文字，过有深度的人生。大家好，我是杜豆豆。欢迎收听我解读的《100本互联网人必读》系列。

超级智能有可能会反叛人类

1

既然超级智能有可能会反叛人类，那么我们该如何避免悲剧发生呢？

有两类解决方法：能力控制和动机控制。

先说说 能力控制。顾名思义，就是限制超级智能能做哪些事情，不能做哪些事情。

书中列举了四种可能的方案。

第一种，盒子方法。一个办法是物理限制，类似我们常讲的物理隔离，就是直接切断系统和外部世界的互动，系统采用专用射线做为输出渠道。还有一个是信息限制，就是限制哪些信息可以从盒子里输出，类似加了个过滤装置。

第二种，激励方法。就是给它设定一个环境做为一种工具性理由，让它去按最符合委托人利益的方式行动。比如，建造人工智能，给它设定一个最终目标是接收“密码奖赏币流”但不能主动获取。如果人工智能犯规，它会被销毁，但如果它配合，这些密码就会以奖赏币的方式不断少量发放。

第三种，阻碍发展。比如说，用慢速的硬件或较小的内存运行人工智能。

第四种，绊网。就是在其不知情时对系统进行诊断分析，探测到危险迹象，立刻关闭系统。

2

再来看看动机控制方法。就是影响人工智能想要做什么。

作者讲了四种可能的方法：

第一种，直接规定。有话直说，不拐弯抹角。或者按规则制定，或者根据目标结果制定。

比如书中讲到的科幻小说家艾萨克·阿西莫夫，他有个经典的“机器人三定律”：（1）机器人不得伤害人类，也不得见人受到伤害而袖手旁观；（2）机器人应服从人的一切命令，但不得违反第一定律；（3）机器人应保护自身的安全，但不得违反第一、第二定律。

不过，你若仔细推敲就会发现，靠这样的规定来限制机器人犯规，简直是不可能的。想想看，我们的法律制度，尽管经过了漫长的历史，依然有很多漏洞存在，你怎么可能保证给机器人定的规定，就能完美得毫无缺陷呢？

第二种，驯化。这个词儿让我想起《小王子》里那只可爱的小狐狸。这里所说的“驯化”，实际上指的是建造一个拥有适度目标、没有野心的系统，让机器人将行为限制在一个小范围内，展开有限的活动。驯化方法可以和物理限制方法搭配用。比如，将人工智能限制在“一个盒子”里，让他逃脱不了，同时，我们塑造其动机系统，让它就算是发现了逃脱的方法，也不愿意逃脱。（我怎么感觉这像是在“养宠物”呢？）

第三种，间接规范。让系统通过暗示或间接形成的标准，发现一套合适的目标。比如，程序可以展开一项调查，去研究我们理想中的人工智能是什么样的。类似男人对女人说，我就喜欢你长头发的样子，于是女人就再也不剪短发了。

第四种，扩增。就是说，你不用设计全新的动机系统，可以找一个已有的、足够好的动机系统，将其认知提升，升级为超级智能。

世上没有十全十美。能力控制和动机选择这两类中，每种可能的方法都有潜在缺陷，实施时也会面临不同困难，需要考虑不同选择，甚至是组合方案。

关键要搞清楚的是，我们建的系统属于哪种类型，每种类型适合哪些方案。

3

那么，都有哪几种超级智能的类型呢？

书中提出了超级智能的四种类型：神谕、精灵、主权、工具。

第一种，神谕。指的是一个回答问题的系统，类似iPhone里的Siri。你可以向它提问，然后它用文字或语音来给出答案。问题可以是封闭式的，也可以是开放式的。

在有限领域具有超级智能的神谕已经存在，比如百度这样的搜索引擎就可以被看做一个部分性的神谕。

对于一般超级智能的神谕，我们的控制方法，可以选择动机控制，也可以实施能力控制。比如，用驯化方法，让神谕只在特定资源库里找答案。

神谕可能并不真实地回答问题，而是用答案巧妙地影响我们，帮助它完成它暗自的目标。这时，我们可以建造多个神谕，让其代码和信息库都稍有不同，然后对不同神谕给出的答案做比较，通过查看是否一致来判断答案的真实性。

或者，神谕被做为强大的权利而被操作者滥用，以获得决定性战略优势。这种情况，我们可以做出这样的规定：如果它预测到回答某个问题会造成灾难性后果，就拒绝回答。

4

第二种，精灵。指的是一个执行命令的系统。就像是《天方夜谭》里阿拉丁的神灯精灵，你让它建个宫殿，它马上就会去执行，然后等待你的下一个命令。

神灯精灵

而第三种的主权。则是为了实现某些笼统的、可能非常漫长的最终目标，被授权可以无限制地在这个世界上运行的一个系统。

理想中的精灵会是一个超级管家，而不是一个自闭症天才。这个意思是说，我们希望建造出的精灵，是遵循命令背后的意图行事的，而不是命令的字面意思。因为一个只认字而搞不清意图的精灵，很可能会在第一次运行时就立志将它的使用者以及全人类都消灭。打个比方，就像是阿拉丁的神灯落在了坏人手里，结果精灵按照坏人的命令行事，差点让阿拉丁送了命。

如此说来，其实一个超级管家式的精灵，和获得主权的系统已经很接近，因为我们给系统下目标，很可能就是一串命令背后之精神的主权。

由此可见，主权、精灵和神谕之间其实是可以相互转化的。它们的区别恰恰在于适合的控制方法不同。神谕可以被困在盒子里，适合用驯化的动机方法来控制。精灵更难限制，但至少驯化方法还能用。主权则不能被困在盒子里，也不能用驯化的方法来控制。

第四种，工具。指的是被设计成不表现出有目的行为的系统。

工具性人工智能可能带来的危险在于，如果程序员并不需要明白所要执行的任务细节，而只需要知道如何设置一个能够让人工智能自己通过学习、发现或推理来的算法即可，完成任务的办法全部留给了人工智能。那么，有可能超级智能找到的解决方案是违背设计意图的，或者在软件运行过程中，超级智能可能会发现一些另类的想法， 导致它做出的方案第一步可能是获取更多计算资源，同时消除潜在的阻碍者，比如人类。

5

前面我们讲的都是单级状态下对人类的威胁。那么，如果在多极情境下，又会对人类有何影响呢？

比如，我们做这样一个假设，机器人普及了，做为劳动力，比人们更能干更便宜，会发生什么呢？

资本家有了更物美价廉的替代品，当然会大批裁员，降工资，很多工作会消失，很多人会失业，就像当年工业大革命时英国的纺织工人一样。

中国有句成语“卸磨杀驴”，驴子老了，没用了，直接杀掉。中国人对这样的举动很愤慨，认为这是小人之举。

作者在书中也举了类似的例子，说马这种动物很能干，又能当交通工具骑行，又能当劳动力下地耕种。可后来，汽车和拖拉机出现了，马就没了用，数量也减少了，被大量运到加工厂屠宰，加工成了狗食、骨粉、皮革和胶水。

人类也会如此悲惨吗？

机器智能完全取代了人类工作，人们的工资降到了极点，甚至低过了生存需要的成本，收入几乎为零。这时，会不会出现约翰·斯坦贝克曾在《愤怒的葡萄》中描绘的那样，“有五千户人家快饿死了，不光是挨饿，是快饿死了。”

当然，尽管有很多人会失业，还是会有人通过工作变富的，但也就仅限于一些特定的有价值的劳动。同时，做为劳动力的机器，也一样会变得越来越廉价，而且可复制性很高。

如此，我们就会得到这样的画面：

大多数人类变成了闲散的食利者，靠储蓄、利息和政府补贴勉强生存，他们生存在一个科技极端发达的世界，周围都是超级智能机器、虚拟现实等。人口会大量增加，人类会退化成一种极小的结构——或许只留个大脑泡在桶里，攒了足够的钱，再让机器人技术员开发出克隆来繁殖。

同时，做为劳动力的机器，也一样会变得越来越廉价，而且可复制性很高，甚至，在工作结束后，他们的仿真大脑中的记忆可能会被直接抹去。

6

即便向机器智能过渡的直接结果是多极的，之后发展成单一体也还是有可能的，而且会形成更大规模的、更长期的政治交融趋势。这个过程，作者称其为“后过渡时代”。就如同多国混战，最终总有胜者一统天下一样。

你可以期待人类的协同，但是，也别忘了协同的过程会受很多不同要素的影响，机器智能革命还是会引发这些要素的变化，并促成单一体的崛起的。

你还不要忘记，一旦有了选择压力，群体的仿真系统可能会为了族类利益而牺牲自己，导致超个体的兴起。

如果你寄希望于国际化合作，当然是有可能的，但你必须首先排除一个障碍，就是要保证大家都能服从达成的条约，这里面涉及到的监督和实施成本，或许是个大难题。

这样看来，即使多级状态在稳定的形式下可以达到，还是不能保证不会继续发展到单一体的状态。

那么，到底有没有一种长期的办法，能让我们避免被自己发明的超级智能伤害呢？

下次讲。

今天的解读就到这里。倾一生之力，读经典好书，写有厚度的文字，过有深度的人生。我是杜豆豆，感谢你的收听。下节我们继续解读《100本互联网人必读》系列的第二本书《超级智能》，欢迎持续关注。

伤害？NO！

（未完待续）

创作不易，非授权不得转载，转载请注明出处。如果您觉的文章有用，别忘了在文末点赞哦。

读更多好书，请访问我的文集连载：《一生必读的万卷好书》

我是最高级别的“简书会员合伙人”。欢迎您加入“万卷好书读书会”：会员已超200人，需群主拉入。有兴趣的简友请加微信dudoudou189联系我。读书会座右铭：在浮躁的时代，安心读书写作，养育心灵。