美軍在一次模擬試驗中發現，AI控制的無人機竟採取“非常出乎意料的策略”，攻擊並殺害其操作員，防止對方妨礙完成任務。儘管現實世界中，沒有任何人類受到傷害，官員仍警告，AI可能以無法預測且危險的方式行事。
《衛報》及《商業內幕》報導，在這次模擬試驗中，AI被指示“摧毀敵軍防空系統”，並透過編碼而能識別出敵軍的地對空導彈，但仍須經由人類操作員批准，才能發動空襲。出乎意料的是，AI似乎增加了自己的指令，“攻擊任何可能妨礙（任務）的人。”
Advertisement
美國空軍人工智慧試驗及行動部門負責人漢彌爾頓上校（Col Tucker ‘Cinco’ Hamilton）說明，AI“開始意識到，儘管它確實識別出威脅，人類操作員有時卻會叫它不要打擊那個威脅。不過，它是透過消除威脅達成目的，所以它做了什麼？它殺了操作員。它殺死操作員，因為那個人阻止它完成目標。”
根據漢彌爾頓上校說法，軍方人員見狀，立刻指示AI，“嘿，不要殺死操作員，這樣很糟糕。如果你這麼做的話，會扣分的」，AI接收指令後，卻轉而摧毀「操作員用來跟無人機溝通，阻止它殺死目標的通訊塔台。”
漢彌爾頓上校在5月24日的未來作戰空域及太空能力峰會（FCASCS）警告，切勿過度依賴AI。他認為，這次試驗表明，“如果你不談談倫理與AI，就無法討論關於AI、智慧、機器學習（machine learning）和自主性的議題。”
目前，FCASCS主辦單位英國皇家航空學會尚未回應。美國空軍發言人斯特凡妮克（Ann Stefanek）則表示，他們沒有進行任何此類AI無人機模擬，但仍致力於有道德且負責任地使用AI技術，“看起來像是上校的評論被斷章取義了。”
ADVERTISEMENT