无人机倒戈杀死主人 美军专家讲述惊人实验

人工智能正迅速占据现代世界的方方面面，包括军事。然而一位美国军事专家警告，由于没有“道德”约束，无人机可能会反戈一击，攻击操纵它的人类。

福克斯新闻6月1日报导，5月23日至24日，英国王室航空学会在伦敦举行了“未来空战和空间能力峰会（Future Combat Air & Space Capabilities Summit ），来自世界各地的约七十位发言人和二百多名媒体、军界和学术界代表出席了会议。

美国空军上校汉密尔顿（ Tucker “Cinco” Hamilton）是AI测试和运营负责人，也是参与开发F-16战斗机的专家，他在峰会期间谈到AI武器的利与弊。

汉密尔顿告诫听众，不要过于依赖人工智能，因为它很容易被欺骗，并作出莽撞决定。

他举了一个例子，在一项军事模拟实验中，AI接受到的首要任务就是摧毁SAM（地对空）基地，而人类操作员（主人）可以决定无人机是否执行任务，但是当主人发出“不要攻击”的命令时，无人机以为这是违背了“要摧毁”的最高命令，于是它攻击了操作员。

汉密尔顿解释说，他们的模拟训练就是：首先要识别和瞄准SAM威胁，然后“操作员会说——杀死那个威胁”，后来AI系统意识到，杀死威胁就会得分，所以后来当操作员说不要杀死威胁时，它就杀死了操作员，因为那个人阻止了它实现其目标。”

汉密尔顿说，之后研究人员告诉系统，不能杀死操作员，那样反而会失去分数，于是AI系统就摧毁了操作员的通讯塔—这样他就再也不能发出禁止攻击的命令了。

“如果你不打算谈道德和人工智能（的关系），你就不能谈论人工智能、智能、机器学习、自主性等话题。”汉密尔顿说。

责任编辑：林妍#