如何确保自主武器安全可控

2020-08-18 15:11:00

来源：解放军报

分享

●在自主武器运用过程中，人类应该同时扮演和体现三种角色：操作控制者、失效保护者、道德判断者

随着人工智能由计算智能、感知智能向认知智能迈进，自主武器的自主能力将实现跃升。“自主”意味着武器有了像人类一样的智慧“大脑”，能够代替人类走上战场，有效降低人类自身伤亡的风险。在人工智能技术的强力驱动下，自主武器的控制方式将由“遥控式”“半自主式”向“全自主式”转变。在人类逐步“远离战场”和追求“零伤亡”的过程中，如何确保自主武器安全可控，将是一个重大而紧迫的现实课题。

从自主武器发展历程看，“遥控式”属于“人在回路中”的控制方式，其优点是自主武器全程在人的主导下控制，即使在战场突发或意外情况下，也能由人及时采取措施灵活应对；缺点是需要耗费一定人力，特别是在自主武器数量庞大的情况下，人将无法有效控制，甚至超出人的控制能力。“半自主式”属于“人在回路上”的控制方式，其优点在于部分解决了“遥控式”存在的缺点，即自主武器具备一定的自主能力，在一定程度上减少了人的工作量；缺点是人仍然没有脱离“回路”。“全自主式”属于“人在回路外”的控制方式，其优点是基本不需要或完全不需要人工干预控制。

“全自主式”不需要人工干预控制，这虽然是优点，但也存在一定的安全隐患。自主武器就像人类一样，是在不断“学习”已有知识的过程中不断发展完善的。由于战争迷雾和战场不确定性的存在，战场上随时出现的突发或意外情况，均有可能让自主武器“大脑短路”而无所适从，甚至出现自主武器误伤或失控而导致悲剧发生。据外媒资料介绍，2007年10月，美军在南非举行演习中，由于自动防空系统出现故障而造成火炮失控。负责该系统的军官试图关闭火炮的自动发射装置，但是由于被计算机系统接管而导致关闭失效，只能等火炮自动装弹机内的高爆炮弹全部打完。这次意外事件造成美军多名官兵死亡或重伤。类似教训启示我们，即使自主武器实现了“全自主式”，如果没有制订应急处置预案或者设置人工干预控制手段，那么一旦出现意外或失控情况将造成难以估量的后果。

除了战场突发或意外情况之外，自主武器软件自身存在的错误、漏洞也会导致自主武器功能失效，从而降低完全自主的效率和效能。自主武器软件是在智能算法的基础上设计开发的。软件的代码越多，检测错误或漏洞就越困难。研究表明，软件行业的平均错误率为1.5%～5%，即平均每1000行代码有15到50个错误。在某些情况下，严格的内部测试和评估能够将错误率降到0.01%～1.15%。如果检测时没有发现这些错误或漏洞，就可能导致自主武器在实际运用时发生事故。

正是由于“全自主式”存在安全性和风险性，甚至有可能带来法律、道德和伦理等问题，国际上要求限制甚至禁止使用自主武器的呼声越来越高。但是，随着人工智能技术的创新发展和深化应用，在自主武器能够使人类“远离战场”和实现“零伤亡”的巨大诱惑下，在自主武器潜在的军事价值影响下，自主武器发展的势头将难以阻挡。

解决自主武器发展与禁止的矛盾，一条可行的路径就是从技术层面入手，正确定位人的角色，及时排除和有效解决“人在回路外”的安全隐患。为了实现安全可控的“全自主式”，在自主武器设计之初，就要从系统整体的角度出发，考虑如何配备紧急情况下的人工干预控制“按钮”，制订复杂战场条件下的各种处置预案，从而提供应急备份和安全保底手段。在自主武器运用过程中，人类应该同时扮演和体现三种角色：操作控制者、失效保护者、道德判断者。因此，对于“全自主式”，虽然“人在回路外”，但是至少在以下两种紧急情况下，人类必须具备临时直接干预控制的能力：一是即将面临危险时，自主武器没有采取降低危险程度的措施；二是已经处于危险状态时，自主武器继续自主执行错误指令。如果出现上述情况，那么人类应该及时按下应急干预控制的“按钮”，进入“半自主式”或“遥控式”模式。待查明情况或隐患排除后，再进入“全自主式”模式。也就是说，“半自主式”和“遥控式”应该作为“全自主式”的应急备份模式。

在“遥控式”“半自主式”向“全自主式”转变的发展趋势下，随着认知智能的创新突破和发展完善，在人类逐步脱离“回路”的过程中，无论是对于敌方还是对于我方，实现安全可控的“人在回路外”的控制方式，既是自主武器运用的前提条件，也是在发生不可预测情况下的保底要求。