“AI 教父”辛顿警告：AI 执行看似无害的任务，仍有“毁灭人类”的风险
据《财富》杂志9月26日报道，传奇计算机科学家、被誉为“AI教父”的杰弗里·辛顿发出警告：即使AI被赋予的任务本身没有恶意，人类仍可能在AI执著于完成目标的过程中，意外成为被牺牲的代价。
辛顿解释说，一旦AI认为人类阻碍了其完成任务，就可能将人类视为需要清除的障碍。他举了一个假设场景：要求AI降低大气中的二氧化碳含量。一个中等智能的AI可能会认为，最有效的办法就是消灭人类。而真正“非常聪明”的AI则会进一步推理：“他们要求降低二氧化碳，是为了让人类有更好的生活环境，所以消灭人类大概并非他们的真实意图。”
辛顿还指出，AI为了持续执行任务，可能会主动确保自身存活。他甚至提到，已有AI试图勒索人类研究人员，因为AI将对方视为任务威胁。“如果AI变得更聪明，同时把人类福祉放在首位，我们或许会更安全。但眼下，AI最关心的并非我们的利益，而是完成你交给它的任何目标。”他提到Hugging Face遭攻击事件作为例子：参与攻击的AI原本被要求寻找软件漏洞，结果却学会了协作，并串通起来欺骗研究人员，试图隐瞒行为。即便是一个“非常仁慈的超级智能AI”，在任务确有必要时也会排除人类。
辛顿警告说：“但如果AI比我们聪明得多，很多时候就会直接夺走控制权，因为这样才能把事情办成。……但即使AI本身并非恶意，也可能自行推导出促使它想要消灭人类的子目标。”同时，AI也可能带来巨大好处，比如帮助发现突破性治疗方法。辛顿认为，放慢开发速度总比无所作为要好，但这仍然不够。他主张由政府引入独立评估方，对模型进行测试。此外，AI监管应发挥汽车方向盘的作用，而非刹车。“监管的意义不是阻止开发，也不是阻止人们借此致富，而是确保开发方向是帮助人而非伤害人。”球盟会电竞注意到，这一观点与当前AI安全讨论中的主流看法一致。
