谢选骏：机器人杀人还是人杀人

《关于“致命自主武器”，你应该知道的》（ERIC LIPTON 2023年11月22日 ）报道：

ShieldAI公司的新技术创造了通过人工智能协同工作的无人机。该公司正在与国防部合作，但目前还没有武装无人机。

成群结队的无人机杀手可能很快就会成为世界各地战场的标配。这引发了如何或是否对其使用进行监管的讨论，并引发了人们对最终将生死决定权交给人工智能程序这一前景的担忧。

以下是该技术的发展简史、正在开发的武器类型，以及相关讨论是如何展开的。

这些武器是新生事物吗？

人工智能终将使得武器系统可以自行选择特定类型的目标，并发起打击。人工智能技术的最新发展推进了围绕这种被称为“致命自主武器”系统的讨论。

但在某种程度上，自主武器并非新鲜事物。

在人或物体从地雷上方经过时，它会自动爆炸，这种设计早在19世纪的美国内战期间就开始使用，据信是由一位名叫加布里埃尔·雷恩斯的南方军将军首先发明的，他把地雷称为“地下炮弹”。

虽然这些武器的首次使用远早于人们对人工智能的想象，但它们与今天的辩论存在关联，因为它们一旦投入使用，就不会受到人为干预，也不会区分预期目标和意外受害者。

五角大楼几十年前就开始扩充自动化武器。

从20世纪70年代末开始，美国开始扩展这一概念，推出了一种名为“捕获者反潜地雷”的武器。这种水雷可以从飞机或船只上投下，放置在海底，直到装置上的传感器探测到敌方目标时自动引爆。

从20世纪80年代开始，数十艘海军舰艇开始使用宙斯盾武器系统，该系统使用高功率雷达系统搜索和跟踪任何来袭的敌方导弹。它可以设置为自动模式，这样在人类介入之前，它就会发射防御性导弹。

制导武器系统是接下来的一步。

朝着更复杂的自主武器发展的下一步以“发射后可以不管”的制导武器形式出现，比如AIM-120先进中程空对空导弹，这种导弹有一个雷达导引头，可以在导弹发射后试图摧毁敌机时，精确定位导弹的轨迹。

前五角大楼高级官员、《无人军队》(Army of None)一书的作者保罗·沙雷写道，制导武器在发射后通常无法召回，就像“警察派去追捕嫌疑人的警犬”。它们在完善自身路径方面有一定程度的自主权，但沙雷将其定义为“有限的自主权”。鱼叉反舰导弹的操作方式与此类似，是有限的自主权。

“游荡武器系统”可以高度自动化。

在乌克兰战争中，被称为“游荡武器系统”的自动化武器颇为醒目。这些设备至少可以追溯到1989年，当时一家以色列军事承包商推出了一种名为“哈比”(Harpy)的无人机，可以在空中停留大约两个小时，在数百公里的高空搜索敌人的雷达系统，然后对其进行攻击。

最近，加州的AeroVironment公司等美国军事承包商也推出了携带爆炸弹头的类似游荡武器系统。这种装置被称为“弹簧刀600”，它在半空飞行，直到发现坦克或其他目标，然后发射一枚反装甲弹头。

在武器击中目标前仍然需要人类签字。但是，将人类“排除在外”，使设备完全自主是相对简单的。

“现在的技术可以让你对这个设备说，‘去给我找一辆俄罗斯T-72坦克，别跟我说话，我要发射你了，去找它吧，’”AeroVironment公司董事长瓦希德·纳瓦比说。“如果它有80%以上的把握，认为找到了那辆坦克，它就会把目标干掉。整个端到端任务都可以是完全自主的，除了一开始的发射。”

释放无人机群可能是一个更大的转变。

下一步的方向毫无疑问。

根据今年早些时候发布的一份通告，五角大楼正在努力建造无人机群。

预计最终结果将是一个由数百甚至数千架搭载监视设备或武器的人工智能增强型自主无人机组成的网络。无人机最有可能部署在中国附近，这样一旦冲突爆发，它们就可以迅速部署，并用来摧毁或至少削弱中国在其沿海和南中国海的人工岛屿上建立的广泛的反舰和防空导弹系统网络。

广告

这只是五角大楼目前正在进行的一系列努力之一，其目标是在未来一两年部署数千架廉价、自主、有时甚至致命的无人机，它们即使在GPS信号和通信受到干扰时也能继续运行。

一些军事承包商，包括主要的人工智能军事承包商Palantir科技的高管在内，曾认为完全自主的人工智能控制的致命攻击可能还需要数年时间，因为最先进的算法还不够可靠，因此不能放心让它来自主做出生死攸关的决定，而且可能在一段时间内都不会。

Palantir的高管考特尼·鲍曼在今年的一次听证会上对英国议员说，Palantir认为，人工智能将允许军方官员通过快速分析传入的数据，做出更快、更准确的目标决策。

但在联合国内部，人们普遍担心新系统的风险。虽然一些武器早就内置了一定程度的自主性，但新一代武器却有着根本的不同。

“大约十年前，当这个话题开始的时候，它真的有点像科幻小说，”沙雷说。“现在一点也不是了。这项技术非常、非常真实。”

谢选骏指出：如此这般的机器杀人，其实还是人杀人。

《人工智能带来的新恐惧：当自主杀人机器人成为军方工具》（DAVID E. SANGER 2023年5月9日）报道：

“如果我们停下来，猜猜谁不会停下来：海外的潜在对手，”五角大楼的首席信息官约翰·舍曼周三表示。“我们必须继续前进。”

去年10月宣布严格限制向中国出售最先进的计算机芯片时，拜登总统给出的解释是，这一定程度上是为了给美国工业一个恢复竞争力的机会。

但在五角大楼和国家安全委员会，还有另外一个议程：军备控制。

从理论上说，如果中国军方拿不到芯片，可能会放慢研发人工智能武器的努力。这将让白宫和世界有时间制定出一些关于传感器、导弹和网络武器中使用人工智能的规则，终极目标则是防范好莱坞设想的那种噩梦——把自己的人类创造者关在门外的自主杀手机器人和计算机——变成现实。

现在，围绕着广受欢迎的ChatGPT聊天机器人和其他生成式人工智能软件的恐惧迷雾让限制中国获取芯片看起来只是一个权宜之计。上周四，拜登在白宫参加了一个科技高管会议，这些高管们正在想方设法限制这项技术的风险。拜登的第一句话是，“你们正在做的事情具有巨大的潜力和巨大的危险。”

他的国家安全助手表示，这是对最近有关这项新技术可能颠覆战争、网络冲突以及——在最极端的情况下，颠覆核武器使用决策的机密简报所做的反应。

但就在拜登发出警告的同时，五角大楼官员在科技论坛上表示，他们认为暂停开发下一代ChatGPT和类似软件六个月的想法是个坏主意：中国人不会等，俄罗斯人也不会等。

“如果我们停下来，猜猜谁不会停下来：海外的潜在对手，”五角大楼的首席信息官约翰·舍曼上周三表示。“我们必须继续前进。”

他的直白突显了当今整个国防界的紧张气氛。没有人真的清楚这些新技术在开发和控制武器方面的能力，而且也不了解什么样的军备控制制度（如果有的话）可能奏效。

这种预感虽然还不明确，但令人深感担忧。ChatGPT会让那些以前不容易接触到破坏性技术的坏人得逞吗？它是否会加速超级大国之间的对抗，以致没有时间进行外交和谈判？

“行业现在正在进行一系列非正式对话——所有这些都是非正式的——探讨人工智能的规则会是什么样的，”曾担任国防创新委员会主席的前谷歌董事长施密特说。

“这个行业并不愚蠢，你已经看到了自我监管的努力，”谷歌前董事长埃里克·施密特说，他曾在2016年至2020年担任国防创新委员会首任主席。

“因此，该行业现在正在进行一系列非正式对话——所有这些都是非正式的——探讨人工智能的规则会是什么样的，”施密特说，他与前国务卿亨利·基辛格合作撰写了一系列文章和书籍，探讨人工智能颠覆地缘政治的潜力。

任何测试过最初几个版本的ChatGPT的人都看到了将保护措施置入系统的努力。例如，机器人不会回答有关如何自制药物伤害他人的问题，或者如何炸毁大坝或破坏核离心机，美国和其他国家在没有人工智能工具的情况下都参与过这些行动。

但是这类行为黑名单只能减缓对系统的滥用；很少有人认为他们可以完全阻止这种行为。总是有办法绕过安全限制，任何试图关闭汽车安全带警告系统紧急蜂鸣声的人都可以证明这一点。

尽管这个新软件让更多人看到了这个问题，但对于五角大楼来说，这并不是什么新鲜事。关于开发自主武器的第一条规则在十年前发布。五角大楼的联合人工智能中心成立于五年前，旨在探索人工智能在战斗中的应用。

一些武器已经处于自动巡航模式。击落进入受保护空域的导弹或飞机的爱国者导弹长期以来一直都有“自动”模式。这个模式使它们能够在没有人工干预的情况下被飞来的目标触发并开火，速度快于人类的反应。不过它们应该接受人类的监督，人类可以在必要时中止攻击。

针对伊朗资深核科学家穆赫森·法赫里扎德的暗杀行动是由以色列的摩萨德使用由人工智能辅助的自动机枪执行的，尽管看起来存在很大程度的遥控操作。俄罗斯最近表示已经开始制造——但尚未部署——波塞冬核鱼雷。如果真的像俄罗斯鼓吹的那样，这种武器将能够自主穿越海洋，避开现有的导弹防御系统，在发射几天后投送核武器。

到目前为止，还没有针对此类自主武器的条约或国际协定。在这个时代，放弃军备控制协议的速度比谈判的速度还快，达成这样的协议的希望渺茫。但ChatGPT及其同类产品提出的挑战类型不同，而且在某些方面更为复杂。

在军队中，注入人工智能的系统可以加快战场决策的速度，以至于它们会产生完全意料之外的打击风险，或者根据误导性或故意错误的攻击警报做出决策。

“在军事和国家安全领域，人工智能的一个核心问题是，你如何防御比人类决策速度更快的攻击，我认为这个问题尚未解决，”施密特说。“换句话说，导弹来得太快了，必须要有自动反应。但如果这是一个错误的信号怎么办？”

冷战期间充斥着错报的故事——本应用于练习核反应的训练磁带不知何故被输入了错误的系统，引发了苏联大规模进攻的警报。（是良好的判断力让人们没有惊慌失措。）新美国安全中心的保罗·沙雷在他2018年出版的《无人军队》一书中指出，“从1962年到2002年，至少发生了13起险些使用核武器的事件”，这“证实了这样一种观点，即未遂事件是核武器的正常情况，即使这很恐怖。”

出于这个原因，在超级大国之间的紧张局势远低于今天的时代，历任总统都试图通过谈判为各方的核决策留出更多时间，这样就没有人会匆忙卷入冲突。但是生成命令的AI有可能将各国往反方向推，加快决策速度。

好消息是，大国似乎会非常小心——因为他们知道对手的反应会是什么样子。但到目前为止，还没有经过商定的规则。

前国务院官员、赖斯、哈德利、盖茨和曼纽尔公司合伙人安雅·曼纽尔最近写道，中国和俄罗斯还没有准备好就人工智能进行军备控制谈判，但就这一主题进行会谈可以促进有关什么样的人工智能用途将被视为“过于危险”的讨论。

当然，五角大楼也会担心同意许多限制。

计算机科学家丹尼·希利斯是用于人工智能的并行计算机的先驱，他说，“我非常努力地争取制定一项政策，如果你有武器的自主元件，你需要一种关闭它们的方法。”希利斯也曾在国防创新委员会任职。他说，五角大楼的官员不同意，他们说，“如果我们能把它们关掉，敌人也能把它们关掉。”

更大的风险可能来自个人行为者、恐怖分子、勒索软件组织或拥有先进网络技术的小国——比如朝鲜——它们学会了如何克隆一个更小、限制更少的ChatGPT版本。他们可能会发现，生成式人工智能软件非常适合加速网络攻击和部署虚假信息。

负责微软信任与安全业务的汤姆·伯特最近在乔治·华盛顿大学的一个论坛上说，他认为人工智能系统将帮助防御者更快地发现异常行为，而不是帮助攻击者。微软正在加快使用这项新技术改造其搜索引擎。有些专家不同意这一观点。但他表示，他担心人工智能可能会“加速”有针对性的虚假信息的传播。

所有这些都预示着军备控制新时代的到来。

一些专家说，既然不可能阻止ChatGPT和类似软件的传播，最理想的出路是限制推进这项技术所需的专用芯片和其他计算能力。毫无疑问，这将是未来几年提出的许多不同的军备控制计划之一，而看起来各核大国目前对旧武器的谈判至少可以说缺乏兴趣，更不用提新武器了。

谢选骏指出：机器人杀人也人杀人——人类的自杀，有助于人类的进化，因为种族灭绝，正是人类进化的机制！