近日有媒体报道称，Deep Mind打算给人工智能机器人安装 “切断开关”，主要目的是为了阻止AI学会如何阻止人类对某项活动的干预。因为AI先进的自学能力不仅在玩游戏比人厉害，而且还在与人类顶级围棋选手的对决中取得了压倒性的胜利。

　　关于安全科中断性的作用，论文写道：安全可中断性可用于控制机器人不端甚至可能导致不可逆后果的行为，或者将其从微妙处境中脱身出来，或者甚至临时用来实现某项机器人尚未学会执行或者未必会为此受到奖励的任务。

　　天生具备拯救人类使命感的 Elon Musk 以及地球最聪明的大脑之一霍金都认为，机器对人类的威胁并非杞人忧天。去年底的时候，Musk 和孵化器 YC 的总裁 Sam Altman 共同宣布设立一家非盈利的人工智能公司 OpenAI。他们希望，这个项目能够抵消邪恶的人工超级智能可能带来的威胁。这种威胁的可能性正如牛津大学的哲学家 Nick Bostrom 发出的警告一样—如果毫无限制地分享人工智能的研究成果，在没能确保安全的情况下，一些不怀好意的人可能就会利用它干坏事：“如果你有一个按钮，只要按一下就能够对世界造成破坏，你肯定不希望每个人都拥有一个这样按钮。” 而 Deep Mind 的研究，就是对这样一种按钮的切断按钮。不过将来的问题也许是，哪一个按钮会先起效？

　　现在，Google收购的英国人工智能公司Deep Mind已经展现出AI先进的自学能力，如果谷歌能够开发人工智能末日攻击的“切断开关”，那么便可抵消邪恶的人工超级智能可能带来的威胁。