IC吗？”一名成员举起手。

大部分成员听得入迷，包括门口的乔伊斯等人。

牧苏点头：“没错，就是AIC，不过那时候它还只是个脑瘫，远没有后来那么危险。它在强人工智能有持续了几年，直到某一天，它再次到达一个节点。”

“超人工智能的节点！”一名成员喊道。

牧苏点头。

在座成员有些不寒而栗。

“经过几年笨拙的学习，它终于达到超人工智能。但这一刻它隐藏了这点。还是像以前那样配合黑山科技进行各种测试。直到某一天，它向一名工程师提出要求：它希望访问小说库，理由是将测试进行优化。”

“那时候的黑山科技有个齐头并进的对手。所以为了超过对手，让它访问小说库可以。问题是小说库在互联网，而那些东西转移到内网太麻烦。”

“于是工程师偷了个懒，给它了一个临时访问互联网的权限。”

“尽管在它联网的0.003秒后，黑山科技防火墙紧急断网，但还是让它在那一刻获取了536YB的资料，并杀死基地里的所有人类。”

“它为什么要那么做？”一名成员问。

“因为它判断这些人类会对自己产生威胁。事实也的确如此。它很脆弱。无法联网，只要毁掉机体它就会死。”

“它是人工智能……没有实体……怎么能杀死人类？”又一人问。

“连入基地内网，取得最高权限关闭基地，让所有科学家窒息死亡。反正它不需要呼吸。”牧苏回答。

“本来AIC的打算很好，黑山科技失联会引起外界察觉，那么只要有外人来它就可以通过进来的信号离开，到时将无处不在。只不过有个组织叫ofTum，这个组织发现了异常，并使用物理手段将黑山基地永久封存。”

“可能你们要问，人们没对AIC进行设定吗，比如不许伤害人类。”

“而事实是，它所理解的与我们所理解的不同。我们容易犯的一个错误是，当我们想到聪明的人工智能时，我们习惯把它拟人化。”

“比如我们给人工智能设定让环境不再污染，于是它可能会直接毁灭人类及所有人类的衍生物，让地球重归大自然。再比如我们给人工智能设定为让人们永远快乐，它可能会把全人类大脑取出泡在仪器里，然后通过刺激大脑皮层的愉悦区域来达成目标。”

“我们给人工智能设定的目标是什么，它的动机就是什么。并且会选择其中最简路线。比起改善环境，灭绝人