Il Signore detesta sanguinari e ingannatori,
Egli ritorcerà contro di essi la loro malizia,
per la loro perfidia li farà perire,
li farà perire il Signore nostro Dio.
Scritto da Michael T Klare tramite TomDispatch.com,
Un mondo in cui le macchine governate dall’intelligenza artificiale (AI) sostituiscono sistematicamente gli esseri umani nella maggior parte delle funzioni aziendali, industriali e professionali è orribile da immaginare. Dopotutto, come ci hanno avvertito eminenti scienziati informatici, i sistemi governati dall’intelligenza artificiale sono soggetti a errori critici e inspiegabili “allucinazioni”, con conseguenti esiti potenzialmente catastrofici.
Ma c’è uno scenario ancora più pericoloso immaginabile dalla proliferazione di macchine superintelligenti: la possibilità che quelle entità non umane possano finire per combattersi l’un l’altra, cancellando tutta la vita umana nel processo.
L’idea che i computer superintelligenti possano impazzire e massacrare gli esseri umani è stata, ovviamente, a lungo un punto fermo della cultura popolare. Nel film profetico del 1983 “WarGames”, un supercomputer noto come WOPR (per War Operation Plan Response e, non a caso, pronunciato “whopper”) quasi provoca una catastrofica guerra nucleare tra gli Stati Uniti e l’Unione Sovietica prima di essere disattivato da un hacker adolescente (interpretato da Matthew Broderick). Il franchise cinematografico ” Terminator “, a partire dal film originale del 1984, immaginava in modo simile un supercomputer autocosciente chiamato “Skynet” che, come WOPR, era progettato per controllare le armi nucleari statunitensi ma sceglieva invece di spazzare via l’umanità, vedendoci come una minaccia alla sua esistenza.
Sebbene una volta confinato nel regno della fantascienza, il concetto di supercomputer che uccidono gli esseri umani è ora diventato una possibilità concreta nel mondo reale del prossimo futuro. Oltre a sviluppare un’ampia varietà di dispositivi di combattimento ” autonomi ” o robotici, le principali potenze militari si stanno anche affrettando a creare sistemi decisionali automatizzati sul campo di battaglia, o quelli che potrebbero essere chiamati ” generali robot.” Nelle guerre in un futuro non troppo lontano, tali sistemi alimentati dall’IA potrebbero essere schierati per fornire ordini di combattimento ai soldati americani, dettando dove, quando e come uccidere le truppe nemiche o prendere fuoco dai loro avversari. In alcuni scenari, i decisori robot potrebbero persino finire per esercitare il controllo sulle armi atomiche americane, consentendo loro potenzialmente di innescare una guerra nucleare con conseguente morte dell’umanità.
Ora, fai un respiro per un momento. L’installazione di un sistema di comando e controllo (C2) basato sull’intelligenza artificiale come questo può sembrare una possibilità remota. Tuttavia, il Dipartimento della Difesa degli Stati Uniti sta lavorando duramente per sviluppare l’hardware e il software necessari in modo sistematico e sempre più rapido. Nella presentazione del budget per il 2023, ad esempio, l’Air Force ha richiesto 231 milioni di dollari per sviluppare l’ Advanced Battlefield Management System (ABMS), una complessa rete di sensori e computer abilitati all’intelligenza artificiale progettati per raccogliere e interpretare i dati sulle operazioni nemiche e fornire ai piloti e alle forze di terra un menu di opzioni di attacco ottimali. Man mano che la tecnologia avanza, il sistema sarà capace di inviare istruzioni di “fuoco” direttamente ai “tiratori”, aggirando in gran parte il controllo umano.
“Uno strumento di scambio di dati da macchina a macchina che fornisce opzioni per la deterrenza, o per una rampa [una dimostrazione di forza militare] o un impegno precoce”, è stato il modo in cui Will Roper, assistente segretario dell’Air Force per l’acquisizione, la tecnologia e la logistica, ha descritto il sistema ABMS in un’intervista del 2020 . Suggerendo che “dobbiamo cambiare il nome” man mano che il sistema si evolve, Roper ha aggiunto: “Penso che Skynet sia uscito, per quanto mi piacerebbe farlo come una cosa di fantascienza. Penso solo che non possiamo andarci”.
E mentre lui non può andarci, è proprio lì che il resto di noi potrebbe, davvero, andare.
Intendiamoci, questo è solo l’inizio. Infatti, l’ABMS dell’Air Force è destinato a costituire il nucleo di una più ampia costellazione di sensori e computer che collegherà tutte le forze di combattimento statunitensi, il Joint All-Domain Command-and-Control System (JADC2, pronunciato “Jad-C-due”). “JADC2 intende consentire ai comandanti di prendere decisioni migliori raccogliendo dati da numerosi sensori, elaborando i dati utilizzando algoritmi di intelligenza artificiale per identificare i bersagli, quindi raccomandando l’arma ottimale… per ingaggiare il bersaglio”, ha riferito il Congressional Research Service nel 2022 .
L’intelligenza artificiale e l’innesco nucleare
Inizialmente, JADC2 sarà progettato per coordinare operazioni di combattimento tra forze americane “convenzionali” o non nucleari. Alla fine, tuttavia, si prevede che si collegherà con i sistemi di comando-controllo-e-comunicazione nucleari del Pentagono (NC3), dando potenzialmente ai computer un controllo significativo sull’uso dell’arsenale nucleare americano. “JADC2 e NC3 sono intrecciati”, ha indicato il generale John E. Hyten, vicepresidente del Joint Chiefs of Staff, in un’intervista del 2020. Di conseguenza, ha aggiunto nel tipico Pentagonese, “NC3 deve informare JADC2 e JADC2 deve informare NC3”.
Non è necessaria una grande immaginazione per immaginare un momento in un futuro non troppo lontano in cui una crisi di qualche tipo – ad esempio uno scontro militare USA-Cina nel Mar Cinese Meridionale o vicino a Taiwan – provocherà combattimenti sempre più intensi tra forze aeree e navali opposte. Immaginate quindi il JADC2 che ordina l’intenso bombardamento delle basi nemiche e dei sistemi di comando nella stessa Cina, innescando attacchi reciproci alle strutture statunitensi e una fulminea decisione del JADC2 di reagire con armi nucleari tattiche, innescando un olocausto nucleare a lungo temuto.
La possibilità che scenari da incubo di questo tipo possano provocare l’inizio accidentale o involontario di una guerra nucleare ha a lungo turbato gli analisti nella comunità del controllo degli armamenti. Ma la crescente automazione dei sistemi C2 militari ha generato ansia non solo tra di loro, ma anche tra gli alti funzionari della sicurezza nazionale.
Già nel 2019, quando ho interrogato il tenente generale Jack Shanahan, allora direttore del Centro congiunto di intelligenza artificiale del Pentagono, su una possibilità così rischiosa, ha risposto: “Non troverai un sostenitore più forte dell’integrazione delle capacità dell’IA scritta in grande nel Dipartimento della Difesa, ma c’è un’area in cui mi fermo, e ha a che fare con il comando e il controllo nucleare “ . Questa “è l’ultima decisione umana che deve essere presa” e quindi “dobbiamo stare molto attenti”. Data “l’immaturità” della tecnologia, ha aggiunto, abbiamo bisogno di “molto tempo per testare e valutare [prima di applicare l’IA a NC3]”.
Negli anni successivi, nonostante tali avvertimenti, il Pentagono ha continuato a correre avanti con lo sviluppo di sistemi C2 automatizzati. Nella sua presentazione del budget per il 2024, il Dipartimento della Difesa ha richiesto 1,4 miliardi di dollari per il JADC2 al fine di “trasformare la capacità di combattimento fornendo informazioni vantaggiose alla velocità della rilevanza in tutti i domini e partner”. Uh Oh! E poi, ha richiesto altri 1,8 miliardi di dollari per altri tipi di ricerca sull’IA di tipo militare.
I funzionari del Pentagono riconoscono che ci vorrà del tempo prima che i generali robot comandino un gran numero di truppe statunitensi (e armi autonome) in battaglia, ma hanno già lanciato diversi progetti intesi a testare e perfezionare proprio tali collegamenti. Un esempio è il Progetto Convergenza dell’Esercito , che prevede una serie di esercitazioni sul campo progettate per convalidare i sistemi di componenti ABMS e JADC2. In un test tenutosi nell’agosto 2020 presso lo Yuma Proving Ground in Arizona, ad esempio, l’esercito ha utilizzato una varietà di sensori aerei e terrestri per tracciare le forze nemiche simulate e quindi elaborare tali dati utilizzando computer abilitati all’intelligenza artificiale presso la Joint Base Lewis McChord nello stato di Washington. Quei computer, a loro volta, impartivano istruzioni di fuoco all’artiglieria di terra a Yuma. “L’intera sequenza è stata presumibilmente completata entro 20 secondi”, ha riferito in seguito il Servizio di ricerca del Congresso .
Meno si sa dell’equivalente AI della Marina, “Project Overmatch”, poiché molti aspetti della sua programmazione sono stati tenuti segreti. Secondo l’ammiraglio Michael Gilday, capo delle operazioni navali, Overmatch ha lo scopo di “consentire a una Marina che sciami il mare, fornendo effetti letali e non letali sincronizzati da vicino e lontano, ogni asse e ogni dominio”. Poco altro è stato rivelato sul progetto.
“Flash Wars” ed estinzione umana
Nonostante tutta la segretezza che circonda questi progetti, puoi pensare ad ABMS, JADC2, Convergence e Overmatch come elementi costitutivi di una futura mega-rete di supercomputer simile a Skynet progettata per comandare tutte le forze statunitensi, comprese quelle nucleari, in combattimento armato. Più il Pentagono si muove in quella direzione, più ci avvicineremo a un momento in cui l’intelligenza artificiale possiede un potere di vita o di morte su tutti i soldati americani insieme alle forze opposte e ai civili coinvolti nel fuoco incrociato.
Tale prospettiva dovrebbe essere motivo di ampia preoccupazione. Per cominciare, considera il rischio di errori e calcoli errati da parte degli algoritmi al centro di tali sistemi. Come ci hanno avvertito i migliori scienziati informatici, quegli algoritmi sono capaci di errori straordinariamente inspiegabili e, per usare il termine AI del momento, “allucinazioni” – cioè, risultati apparentemente ragionevoli che sono del tutto illusori. Date le circostanze, non è difficile immaginare tali computer che “allucinano” un imminente attacco nemico e lanciano una guerra che altrimenti avrebbe potuto essere evitata.
E questo non è il peggiore dei pericoli da considerare. Dopotutto, c’è l’ovvia probabilità che gli avversari dell’America equipaggeranno allo stesso modo le loro forze con generali robot. In altre parole, è probabile che le guerre future saranno combattute da un insieme di sistemi di intelligenza artificiale contro un altro, entrambi collegati alle armi nucleari, con risultati del tutto imprevedibili, ma potenzialmente catastrofici.
Non si sa molto (almeno da fonti pubbliche) sugli sforzi russi e cinesi per automatizzare i loro sistemi militari di comando e controllo, ma si pensa che entrambi i paesi stiano sviluppando reti paragonabili al JADC2 del Pentagono. Già nel 2014, infatti, la Russia ha inaugurato a Mosca un Centro di controllo della difesa nazionale (NDCC), un posto di comando centralizzato per valutare le minacce globali e avviare qualsiasi azione militare ritenuta necessaria, sia di natura non nucleare che nucleare. Come JADC2, l’NDCC è progettato per raccogliere informazioni sulle mosse nemiche da più fonti e fornire agli ufficiali superiori indicazioni sulle possibili risposte.
Si dice che la Cina stia perseguendo un’impresa ancora più elaborata, anche se simile, sotto la rubrica di “Multi-Domain Precision Warfare” (MDPW). Secondo il rapporto del Pentagono del 2022 sugli sviluppi militari cinesi, le sue forze armate, l’Esercito popolare di liberazione, vengono addestrate ed equipaggiate per utilizzare sensori abilitati all’IA e reti di computer per “identificare rapidamente le principali vulnerabilità nel sistema operativo statunitense e quindi unire le forze congiunte attraverso i domini per lanciare attacchi di precisione contro tali vulnerabilità”.
Immagina, quindi, una guerra futura tra Stati Uniti e Russia o Cina (o entrambi) in cui il JADC2 comanda tutte le forze statunitensi, mentre l’NDCC russo e l’MDPW cinese comandano le forze di quei paesi. Considera, inoltre, che è probabile che tutti e tre i sistemi subiscano errori e allucinazioni. Quanto saranno al sicuro gli esseri umani quando i generali robot decideranno che è ora di “vincere” la guerra bombardando i loro nemici?
Se questo ti sembra uno scenario stravagante, ripensaci, almeno secondo la leadership della National Security Commission on Artificial Intelligence, un’impresa con mandato congressuale presieduta da Eric Schmidt, ex capo di Google, e Robert Work, ex vice segretario alla difesa. “Sebbene la Commissione ritenga che sistemi d’arma autonomi e abilitati all’intelligenza artificiale adeguatamente progettati, testati e utilizzati apporteranno sostanziali benefici militari e persino umanitari, l’uso globale incontrollato di tali sistemi rischia potenzialmente un’escalation involontaria del conflitto e l’instabilità della crisi”, ha affermato nella sua relazione finale. Tali pericoli potrebbero sorgere, ha affermato, “a causa di complessità impegnative e non testate di interazione tra sistemi d’arma abilitati all’IA e autonomi sul campo di battaglia” – quando, cioè, l’IA combatte l’IA.
Anche se questo può sembrare uno scenario estremo, è del tutto possibile che i sistemi di intelligenza artificiale opposti possano innescare una catastrofica “guerra flash” – l’equivalente militare di un “crash flash” a Wall Street, quando enormi transazioni da parte di algoritmi di trading super sofisticati scatenano vendite di panico prima che gli operatori umani possano ristabilire l’ordine. Nel famigerato “Flash Crash” del 6 maggio 2010, il trading guidato dal computer ha provocato una caduta del 10% nel valore del mercato azionario. Secondo Paul Scharre del Center for a New American Security, che per primo ha studiato il fenomeno, “l’equivalente militare di tali crisi” a Wall Street si verificherebbe quando i sistemi di comando automatizzati delle forze opposte “rimarrebbero intrappolati in una cascata di scontri crescenti”. In una situazione del genere, ha osservato, “le armi autonome potrebbero portare a morte accidentale e distruzione su scala catastrofica in un istante”.
Al momento, non ci sono praticamente misure in atto per prevenire una futura catastrofe di questo tipo o anche colloqui tra le maggiori potenze per ideare tali misure. Tuttavia, come ha osservato la Commissione per la sicurezza nazionale sull’intelligenza artificiale, tali misure di controllo delle crisi sono urgentemente necessarie per integrare “i cavi di escalation automatizzati” in tali sistemi “che impedirebbero l’escalation automatizzata del conflitto”. Altrimenti, una versione catastrofica della terza guerra mondiale sembra fin troppo possibile. Data la pericolosa immaturità di tale tecnologia e la riluttanza di Pechino, Mosca e Washington a imporre restrizioni all’armamento dell’IA, il giorno in cui le macchine potrebbero scegliere di annientarci potrebbe arrivare molto prima di quanto immaginiamo e l’estinzione dell’umanità potrebbe essere il danno collaterale di una tale guerra futura.
* * *
Michael T. Klare, un contributore TomDispatch regolare , è il professore emerito di studi sulla pace e la sicurezza mondiale presso l’Hampshire College e un senior visiting fellow presso l’Arms Control Association. È autore di 15 libri, l’ultimo dei quali è All Hell Breaking Loose: The Pentagon’s Perspective on Climate Change . È uno dei fondatori del Committee for a Sane US-China Policy .
