Documento politico

L'IMPATTO DELL'INTELLIGENZA
ARTIFICIALE SULLA STABILITÀ
STRATEGICA E SUL RISCHIO
NUCLEARE
Volume I Prospettive euro-atlantiche

Maggio 2019. A cura di Vincent Boulanin

ISTITUTO DI RICERCA INTERNAZIONALE PER LA PACE DI

STOCCOLMA
Il SIPRI è un istituto internazionale indipendente dedicato alla ricerca sui conflitti, sugli
armamenti, sul controllo degli armamenti e sul disarmo. Istituito nel 1966, SIPRI fornisce
dati, analisi e raccomandazioni, sulla base di fonti aperte, a responsabili politici, ricercatori,
media e pubblico interessato.
Il consiglio di amministrazione non è responsabile delle opinioni espresse nelle
pubblicazioni dell'Istituto.

CONSIGLIO DIRETTIVO
Ambasciatore Jan Eliasson, Presidente (Svezia)
Dr Dewi Fortuna Anwar (Indonesia)
Dr Vladimir Baranovsky (Russia)
Espen Barth Eide (Norvegia)
Jean-Marie Guéhenno (Francia)
Dr Radha Kumar (India)
Dr Patricia Lewis (Irlanda / Regno Unito)
Dr Jessica Tuchman Mathews (Stati Uniti)

DIRETTORE
Dan Smith (Gran Bretagna)
Fonte: https://www.sipri.org/publications/2019/other-publications/impact-artificial-intelligence-strategic-stability-
and-nuclear-risk-volume-i-euro-atlantic

Contenuti
Prefazione
Ringraziamenti
Abbreviazioni
Sintesi

Introduzione

1. Introduzione
Riquadro 1.1. Definizioni chiave

Parte I. Demistificazione dell'intelligenza artificiale e delle sue implicazioni militari

2. Intelligenza artificiale: un primer

I. Cos'è l'IA?
II. Apprendimento automatico: un fattore chiave per la rinascita dell'IA
III. Autonomia: un sottoprodotto chiave del rinascimento dell'IA
IV. Conclusioni
Riquadro 2.1. Apprendimento profondo
Riquadro 2.2. Reti generative del contraddittorio
Riquadro 2.3. Automatico, automatizzato, autonomo
Figura 2.1. Approcci alla definizione e categorizzazione dei sistemi autonomi

3. Lo stato dell'intelligenza artificiale: la prospettiva di un ingegnere sui sistemi autonomi

I. Autonomia: un primer
II. Applicazioni
III. Sfide
IV. Conclusioni

4. Applicazioni militari di machine learning e sistemi autonomi

I. Autonomia nei sistemi militari
II. Applicazioni militari dell'apprendimento automatico
III. Conclusioni
Figura 4.1. Una descrizione schematica di un generico sistema autonomo

Seconda parte. Intelligenza artificiale e armi e dottrine nucleari: passato, presente e futuro
5. Lezioni di guerra fredda per l'automazione nei sistemi d'arma nucleare
I. Uso sovietico e statunitense dell'automazione nell'allerta precoce e nel comando e controllo
nucleare
II. Automazione e mano morta
III. Dove potrebbe essere l'autonomia prendendo preallarme nucleare e comando e controllo?
IV. Conclusioni

6. Il futuro dell'apprendimento automatico e dell'autonomia nei sistemi d'arma nucleare

I. Allerta precoce e intelligence, sorveglianza e ricognizione
II. Comando e controllo
III. Consegna di armi nucleari
IV. Operazioni non nucleari
V. Conclusioni

7. Intelligenza artificiale e modernizzazione delle forze nucleari statunitensi

I. Forze nucleari statunitensi e modernizzazione
II. Apprendimento automatico nelle armi nucleari e nei sistemi correlati
III. Conclusioni

8. Autonomia nelle forze nucleari russe

I. Sviluppi delle armi nucleari durante la guerra fredda
II. Sviluppi post-guerra fredda in Russia
III. Conclusioni
Riquadro 8.1. Computer in difesa missilistica e preallarme
Casella 8.2. L'incidente di Petrov del 1983

Parte III. Intelligenza artificiale, stabilità strategica e rischio nucleare: Prospettive euro-
atlantiche

9. Intelligenza artificiale e stabilità nucleare

I. AI e comando e controllo nucleare
II. AI e piattaforme di consegna nucleare
III. Usi militari convenzionali dell'IA e escalation nucleare
IV. Conclusioni

10. Applicazioni militari dell'intelligenza artificiale: riduzione del rischio nucleare

I. AI e apprendimento automatico
II. AI, machine learning e autonomia nei sistemi d'arma
III. AI, machine learning e rischio nucleare
IV. Conclusioni

11. Le prospettive destabilizzanti dell'intelligenza artificiale per la strategia nucleare, la

deterrenza e la stabilità
I. Come l'IA potrebbe minacciare la stabilità nucleare
II. Come l'IA potrebbe avere un impatto sulla deterrenza nucleare
III. Conclusioni

12. L'impatto dei veicoli aerei da combattimento senza pilota sulla stabilità strategica
I. Il vantaggio comparativo degli UCAV
II. Lo stato della tecnologia UCAV e la sua adozione
III. La necessità che gli UCAV siano autonomi

13. Autonomia e apprendimento automatico all'interfaccia di armi nucleari, computer e persone

I. La nuova tecnologia porta nuove minacce
II. Le nuove minacce richiedono nuove risposte politiche
III. Conclusioni
Tabella 13.1. Risposte politiche unilaterali per ridurre i rischi nucleari delle minacce informatiche

14. Mitigare le sfide del rischio nucleare garantendo al contempo i vantaggi della tecnologia
I. Potenziali impatti dell'innovazione tecnologica sul rischio nucleare
II. Governare i rischi posti dall'innovazione tecnologica
III. Utilizzo di tecnologie di machine learning e di registro distribuito per supportare i regimi di
conformità e verifica
IV. Conclusioni

Conclusioni

15. Promesse e pericoli dell'intelligenza artificiale per la stabilità strategica e la gestione del
rischio nucleare: prospettive euro-atlantiche
I. Le promesse e i pericoli dell'attuale rinascita dell'IA
II. L'impatto dell'IA sulle armi nucleari e sulle dottrine: cosa si può dire finora
III. Opzioni per affrontare i rischi

Riguardo agli Autori

Prefazione
Il panorama strategico globale del dopoguerra freddo è attualmente in un processo esteso di essere
ridisegnato a seguito di una serie di tendenze diverse. Ancora più importante, le dinamiche sottostanti del
potere mondiale si stanno spostando con l'ascesa economica, politica e strategica della Cina, la
riaffermazione sotto il presidente Vladimir Putin di un grande ruolo di potere per la Russia e il disincanto
espresso dall'attuale amministrazione degli Stati Uniti nei confronti dell'internazionale. istituzioni e accordi che
gli Stati Uniti hanno avuto un ruolo importante nella creazione. Di conseguenza, una rivalità nucleare binaria
russo-statunitense, retaggio del vecchio confronto russo-statunitense, viene gradualmente sostituita da rivalità
nucleari regionali e triangoli strategici. Mentre il quadro di controllo degli armamenti che l'Unione Sovietica e gli
Stati Uniti hanno creato alla fine della guerra fredda si disintegrano, l'impegno degli stati con i più grandi
arsenali nucleari a perseguire la stabilità attraverso il controllo degli armamenti e potenzialmente il disarmo è
in dubbio a un livello senza precedenti. A ciò si aggiunge l'impatto dei nuovi sviluppi tecnologici sulla dinamica
degli armamenti. Il mondo sta attraversando una “quarta rivoluzione industriale”, caratterizzata da progressi
rapidi e convergenti in molteplici tecnologie tra cui intelligenza artificiale (AI), robotica, tecnologia quantistica,
nanotecnologia, biotecnologia e fabbricazione digitale. Il modo in cui verranno utilizzate queste tecnologie
rimane una domanda a cui non è stata ancora data una risposta completa. È fuori discussione, tuttavia, che gli
stati dotati di armi nucleari cercheranno di sfruttare queste tecnologie per la loro sicurezza nazionale.
Il potenziale impatto di questi sviluppi sulla stabilità strategica e sul rischio nucleare non è stato ancora
documentato e analizzato sistematicamente. L'intelligenza artificiale è considerata da molti come la tecnologia
potenzialmente più trasformativa della quarta rivoluzione industriale. Il progetto SIPRI, “Mappatura dell'impatto
dell'apprendimento automatico e dell'autonomia sulla stabilità strategica”, è un primo tentativo di presentare
un'analisi sfumata di quale impatto lo sfruttamento dell'IA potrebbe avere nel panorama strategico globale e se
e come potrebbe minare la sicurezza internazionale. Questo volume modificato è la prima importante
pubblicazione di questo progetto di ricerca biennale; ne seguiranno altri due. Gli autori di questo primo volume
sono esperti provenienti da Europa, Russia e USA; i due volumi successivi riuniranno i contributi di esperti
dell'Asia meridionale e dell'Asia orientale. Il risultato sarà una raccolta ad ampio raggio di prospettive regionali
sull'impatto che i recenti progressi nell'IA potrebbero avere sulle armi e dottrine nucleari, sulla stabilità
strategica e sul rischio nucleare.
Il SIPRI raccomanda questo studio ai responsabili delle decisioni nel campo del controllo degli armamenti,
della difesa e degli affari esteri, ai ricercatori e agli studenti dei dipartimenti di politica, relazioni internazionali e
informatica, nonché ai membri del pubblico in generale che hanno un interesse professionale e personale nel
soggetto.

Dan Smith
Direttore, SIPRI
Stoccolma, maggio 2019

Ringraziamenti
Vorrei esprimere la mia sincera gratitudine alla Carnegie Corporation di New York per il suo generoso
sostegno finanziario al progetto. Sono inoltre grato a tutti gli esperti che hanno partecipato al workshop che
SIPRI ha organizzato sull'argomento il 22-23 maggio 2018 e che hanno accettato di contribuire a questo
volume. I saggi che seguono sono, nel complesso, versioni più sviluppate delle presentazioni tenute durante il
seminario, tenendo conto dei punti esposti nelle discussioni successive.
Il mix di prospettive raggiunto in questo workshop si riflette nei diversi stili e nella sostanza dei capitoli. Le
opinioni espresse dai vari autori sono le loro e non dovrebbero essere prese per riflettere le opinioni né del
SIPRI né della Carnegie Corporation di New York.
Desidero ringraziare i colleghi del SIPRI Lora Saalman, Su Fei, Tytti Erästö e Sibylle Bauer per il loro feedback
completo e costruttivo. Infine, desidero ringraziare il prezioso lavoro editoriale di David Cruickshank e della
redazione del SIPRI.

Vincent Boulanin

Abbreviazioni
A2 / AD - Anti-access / area-denial
AAV - Veicolo aereo autonomo
AGI - Intelligenza artificiale generale
AI - Intelligenza artificiale
ASV - Veicolo di superficie autonomo
ATR - Riconoscimento automatico del bersaglio
BMD - Difesa missilistica balistica
C3I - Comando, controllo, comunicazioni e intelligence
C4ISR - Comando, controllo, comunicazioni, computer, intelligence, sorveglianza e ricognizione
CCW - (Convenzione su) alcune armi convenzionali
DARPA - Defense Advanced Research Projects Agency (USA)
DLT - Tecnologia di registro distribuito
DOD - Dipartimento della Difesa (USA)
GAN - Rete del contraddittorio generativo
GAO - Government Accountability Office (USA)
ICBM - Missile balistico intercontinentale
Trattato INF - Trattato sull'eliminazione dei missili a corto raggio e intermedio
ISR - Intelligence, sorveglianza e ricognizione
LEGGI - Sistemi d'arma autonomi letali
NATO - Organizzazione del Trattato del Nord Atlantico
NC3 - Comando, controllo e comunicazioni nucleari
NC4ISR - Comando nucleare, controllo, comunicazioni, computer, intelligence, sorveglianza e ricognizione
NORAD - Comando della difesa aerospaziale nordamericana
TNP - Trattato di non proliferazione
SACCS - Strategic Automated Command and Control System
SAGE - Ambiente semiautomatico al suolo
SAM - Missile terra-aria
SEAD / DEAD - Soppressione o distruzione delle difese aeree nemiche
SSBN - Sottomarino missilistico balistico a propulsione nucleare
TCB - Base informatica affidabile
UAV - Veicolo aereo senza pilota
UCAV - Veicolo aereo da combattimento senza pilota
UUV - Veicolo aereo da combattimento senza pilota

Sintesi
L'intelligenza artificiale (AI) sta vivendo una grande rinascita. Dall'inizio del decennio, una svolta nel machine
learning, un approccio all'ingegneria dell'IA, ha consentito lo sviluppo di applicazioni AI e sistemi autonomi
sempre più capaci. In ambito militare, i progressi hanno creato molte aspettative ma anche preoccupazioni, sia
dal punto di vista legale; etico; punto di vista operativo o strategico. Questo volume modificato si concentra su
quest'ultima preoccupazione: l'impatto sull'IA sulla strategia nucleare. È la prima puntata di una trilogia che
esplora le prospettive e le tendenze regionali legate all'impatto che i recenti progressi nell'IA potrebbero avere
per le armi e le dottrine nucleari; stabilità strategica e rischio nucleare. Raccoglie le prospettive di 14 esperti
della comunità euro-atlantica sul perché e come l'apprendimento automatico e l'autonomia potrebbero
diventare il fulcro di una corsa agli armamenti tra stati dotati di armi nucleari; e come l'adozione di queste
tecnologie potrebbe influire sul loro calcolo della stabilità strategica e del rischio nucleare a livello regionale e
transregionale.
Per quanto riguarda il quadro del rischio, i contributori a questo volume generalmente giungono a conclusioni
simili. Sono ampiamente d'accordo sul fatto che è facile percepire male le opportunità e le sfide poste
dall'intelligenza artificiale nella sfera militare. L'IA potrebbe consentire importanti miglioramenti in molte aree
della guerra, compreso il dominio nucleare; tuttavia, gli sviluppi prevedibili saranno molto più prosaici della
comune rappresentazione dell'IA nella cultura popolare. I sistemi di intelligenza artificiale super intelligenti che
possono apprendere e insegnare da soli a resistere al controllo umano o sistemi autonomi simili a Terminator
non sono il tipo di responsabili delle politiche tecnologiche e il pubblico in generale dovrebbe essere
preoccupato. Piuttosto, il problema principale è che i militari potrebbero sottovalutare o ignorare i limiti
dell'attuale tecnologia AI. Le applicazioni AI basate sull'apprendimento automatico e i sistemi autonomi
possono ottenere grandi risultati ma rimangono fragili nel loro design. Possono fallire in modo spettacolare se
confrontati con compiti ambienti o che differiscono leggermente da quelli per cui sono stati addestrati. Anche il
loro comportamento è imprevedibile poiché utilizzano algoritmi opachi. È difficile per gli esseri umani spiegare
come funzionano e se includono pregiudizi che potrebbero portare a comportamenti problematici, se non
pericolosi. Potrebbero anche essere sconfitti da un avversario intelligente attraverso un attacco informatico o
anche un semplice trucco di spoofing del sensore.
Un'adozione immatura degli ultimi sviluppi dell'IA nel contesto dei sistemi di armi nucleari potrebbe avere
conseguenze drammatiche.
La maggior parte dei contributori ha sottolineato a tale riguardo che sarebbe prudente che gli Stati
dedicassero tempo e risorse per sviluppare una più chiara comprensione dei limiti dell'IA e di come possono
essere mitigati. Alcuni autori temono, tuttavia, che i potenziali benefici di una rapida adozione militare dei
progressi dell'IA possano rivelarsi irresistibili per alcuni stati dotati di armi nucleari, che opterebbero per
abbassare i loro sistemi di sicurezza e gli standard di affidabilità al fine di mantenere o sviluppare il loro
vantaggio tecnologico. i loro concorrenti.
La natura intrinseca della tecnologia AI è, a tale riguardo, una fonte del problema: è una tecnologia basata su
software che rende difficile una valutazione tangibile delle capacità militari. Gli stati dotati di armi nucleari
potrebbero quindi facilmente percepire male le capacità e le intenzioni dei loro avversari. Nel campo della
strategia nucleare e della deterrenza, la percezione della capacità di un nemico è tanto importante quanto la
sua effettiva capacità. Uno scenario preoccupante sarebbe una situazione in cui uno stato dotato di armi
nucleari innescherebbe misure destabilizzanti (ad esempio l'adozione di una tecnologia nuova e non testata o
la modifica della sua dottrina nucleare) basata solo sulla convinzione che la sua capacità di ritorsione potrebbe
essere sconfitta dalle capacità di intelligenza artificiale di un altro stato. Tutti i partecipanti concordano sulla
necessità di avere una discussione internazionale sulle opportunità e sui rischi rappresentati dall'uso dell'IA da
parte delle forze armate, in particolare nel contesto relativo alla capacità nucleare. Alcuni partecipanti hanno
anche sottolineato che la discussione deve essere inclusiva: può iniziare, ma non è limitata a, una
conversazione tra paesi che la pensano allo stesso modo. Gli stati membri dell'Organizzazione del Trattato del
Nord Atlantico (NATO), la Russia e altri stati dotati di armi nucleari come la Cina e l'India dovrebbero
impegnarsi a vicenda su questo tema. Questo impegno può essere bilaterale e multilaterale attraverso gli
attuali percorsi di discussione sul controllo degli armamenti e sulla riduzione del rischio nucleare. Anche le
organizzazioni della società civile, il mondo accademico e l'industria dovrebbero essere invitate a svolgere un
ruolo maggiore in queste discussioni interstatali, in quanto possono aiutare gli stati a comprendere meglio la
traiettoria di sviluppo della tecnologia e i rischi associati.
In termini di opzioni per affrontare i rischi, una serie di partecipanti ha riconosciuto che i tipi di rischi posti
dall'IA nel settore nucleare non sono necessariamente nuovi. I recenti progressi dell'IA esacerbano rischi
vecchi e ben noti piuttosto che crearne di nuovi; il che significa che le soluzioni per affrontarle esistono già.
Nessuna politica di primo utilizzo, abbassando lo stato di allerta degli arsenali nucleari e gli approcci
tradizionali alla trasparenza e alla condivisione delle informazioni potrebbero aiutare. Ciò non significa che gli
Stati dovrebbero rifuggire dall'esplorare nuove opzioni politiche. Questi potrebbero includere accordi
legalmente vincolanti sulla necessità di mantenere il controllo umano sulle decisioni di lancio nucleare o
misure e accordi che vincolano la fiducia e la sicurezza in modo da non utilizzare l'IA per interferire
attivamente con le strutture di comando e controllo.

1. Introduzione

Vincent Boulanin
Dall'inizio di questo decennio il campo dell'intelligenza artificiale (AI) ha subito una grande rinascita, in
particolare a causa di una svolta nel machine learning che ha consentito lo sviluppo di applicazioni AI e sistemi
autonomi sempre più capaci. Questa rinascita ha suscitato molte speranze ma anche preoccupazioni. Da un
lato, alcuni esperti di IA hanno paragonato il potenziale trasformativo dell'IA a quello dell'elettricità: “Così come
tutto è diventato più utile quando è stato elettrificato”, tutto diventerà più utile quando è “riconosciuto”. 1
In ambito militare, ciò significa che l'intelligenza artificiale potrebbe rendere qualsiasi tipo di sistema militare,
sia esso cyber, convenzionale o nucleare, più intelligente o più autonomo. D'altro canto, i sistemi di IA
presentano una serie di limitazioni che rendono problematico il loro potenziale utilizzo dal punto di vista etico,
legale e di sicurezza. Se non adeguatamente programmati o utilizzati, i sistemi di intelligenza artificiale
potrebbero disinformare le decisioni e le azioni umane (ad esempio, rafforzare i pregiudizi umani esistenti o
crearne di nuovi). Potrebbero anche fallire in modi imprevedibili o essere particolarmente vulnerabili agli
attacchi informatici. Nel contesto militare, le potenziali conseguenze di queste limitazioni potrebbero essere
drammatiche.2
Le aspettative e le preoccupazioni associate all'uso militare dell'IA sono al centro di una letteratura in crescita. 3
Gran parte di ciò è collegato alla discussione intergovernativa in corso sui sistemi d'arma autonomi letali
(LAWS) che si sta svolgendo nel quadro della Convenzione del 1980 su alcune armi convenzionali
(Convenzione CCW).4 Come suggerisce il nome, la Convenzione CCW si concentra su armi convenzionali,
non questioni relative alle armi nucleari e alla stabilità strategica. Tuttavia, il potenziale trasformativo dell'IA è
rilevante anche per le armi nucleari e le dottrine nucleari. 5 L'intelligenza artificiale potrebbe persino essere un
motore di un grande intreccio tra armi nucleari e convenzionali. 6 L'impatto dell'IA nel campo delle armi nucleari
e delle dottrine merita quindi un esame più approfondito. 7

Riquadro 1.1. Definizioni chiave

Intelligenza artificiale
L'intelligenza artificiale è un termine generico che si riferisce a un ampio insieme di tecniche
computazionali che consentono a computer e robot di risolvere problemi complessi e apparentemente
astratti che in precedenza avevano ceduto solo alla cognizione umana.a

Sistemi d'arma nucleare

I sistemi d'arma nucleare dovrebbero essere intesi nel senso più ampio. Includono non solo le testate
nucleari e i sistemi di consegna, ma anche tutti i sistemi legati alla forza nucleare come il comando e
il controllo nucleare, i sistemi di allerta precoce e i sistemi di intelligence, ricognizione e
sorveglianza. Le armi strategiche non nucleari rilevanti includono missili ad alta precisione a lungo
raggio, veicoli aerei da combattimento senza pilota (UCAV) e sistemi di difesa contro i missili
balistici.

Stabilità strategica
La stabilità strategica ha molte definizioni. Viene qui inteso come "uno stato di cose in cui i paesi
sono fiduciosi che i loro avversari non sarebbero in grado di minare la loro capacità di deterrenza
nucleare" utilizzando mezzi nucleari, convenzionali, informatici o altri mezzi non convenzionali. b

a Vedere la definizione dettagliata nel capitolo 2 di questo volume.

b Podvig, P., "Il mito della stabilità strategica", Bulletin of the Atomic Scientists, 31 ottobre 2012.

Per sostenere una conversazione su questo argomento, il SIPRI ha organizzato una serie di workshop
regionali: a Stoccolma, Svezia, nel maggio 2018, a Pechino, in Cina, nel settembre 2018 ea Colombo, nello
Sri Lanka, nel febbraio 2019. Lo scopo di questa serie di workshop era triplice.
 1. I seminari avevano lo scopo di sensibilizzare sia gli esperti di intelligenza artificiale che gli studiosi e
professionisti che lavorano su questioni relative alle armi nucleari dell'impatto che l'attuale rinascita
dell'IA potrebbe avere sulle armi e dottrine nucleari e sulla stabilità strategica più in generale (vedere
riquadro 1.1 ).
2. I tre workshop dovevano facilitare una conversazione globale sull'argomento consentendo agli
esperti di varie parti del mondo di interagire e condividere le loro prospettive regionali o nazionali.
3. I partecipanti al seminario dovevano identificare l'impatto che l'interconnessione tra IA e armi
nucleari potrebbe avere sulle relazioni strategiche in diverse regioni del globo. Una delle ipotesi alla
base del progetto del workshop era che l'impatto sarebbe stato diverso in ciascuna regione: la regione
euro-atlantica (cioè Europa e Nord America), Asia orientale e Asia meridionale.

Questa raccolta di saggi si basa sugli atti del primo seminario regionale, tenutosi a Stoccolma nel maggio
2018. Questo seminario era destinato principalmente a raccogliere opinioni di esperti con background
complementari della comunità euro-atlantica (in particolare, Francia, Germania, Norvegia, Russia, Svizzera,
Svezia, Regno Unito e Stati Uniti), ma ha coinvolto anche esperti provenienti da altri paesi (ad esempio Cina,
India, Israele e Pakistan). Il seminario è consistito in una serie di tavole rotonde, che hanno esplorato diversi
aspetti dell'argomento, e due sessioni di approfondimento, in cui i partecipanti hanno analizzato in gruppi più
piccoli i rischi che le applicazioni militari dell'IA potevano rappresentare per la stabilità strategica e come tali
rischi potevano essere mitigato.

1. Ng, A. citato in Kostopoulos, L., "AI, coming tech and national defence @ SIPRI Stockholm Security Conference", Medium,
23 settembre 2018.
2. Boulanin, V., "Mappatura del dibattito sulle LEGGI alla CCW: fare il punto e andare avanti", documento di non proliferazione
dell'UE n. 49, EU Non-proliferation Consortium, marzo 2016.
3. Ad esempio Allen, G. e Chan, T., Artificial Intelligence and National Security (Belfer Center for Science and International
Affairs: Cambridge, MA, luglio 2017); Cummings, M. L., Artificial Intelligence and the Future of Warfare (Chatham House:
Londra, gennaio 2017); Sharikov, P., "Intelligenza artificiale, attacco informatico e armi nucleari: una combinazione pericolosa",
Bulletin of the Atomic Scientists, vol. 74, n. 6 (2018), pagg. 368-73; Heinl, CH, 'Artificial (intelligent) agents and active cyber
defence: policy implications', a cura di P. Brangetto, M. Maybaum e J. Stinissen, 2014 6th International Conference on Cyber
Conflict: Proceedings (IEEE: Piscataway, NJ, 2014) , pagg. 53–66; Schuller, A. L., "Al crocevia del controllo: l'intersezione
dell'intelligenza artificiale nei sistemi d'arma autonomi con il diritto internazionale umanitario", Harvard National Security
Journal, vol. 8, no. 2 (maggio 2017), pp. 379-425; De Spiegeleire, S., Maas, M. e Sweijs, T., Artificial Intelligence and the
Future of Defense: Strategic Implications for Small- and Medium-size Force Providers (Hague Center for Strategic Studies:
The Hague, 2017); e Defense One, AI, Autonomy and the Future Battlefield (Defense One: Washington, DC, febbraio 2017).
4. Convenzione sui divieti o restrizioni all'uso di alcune armi convenzionali che possono essere considerate eccessivamente
dannose o aventi effetti indiscriminati (Convenzione CCW), aperta alla firma il 10 aprile 1981, entrata in vigore il 2 dicembre
1983. Vedi anche Asaro, P., "Sul divieto di sistemi d'arma autonomi: diritti umani, automazione e disumanizzazione del
processo decisionale letale", International Review of the Red Cross, vol. 94, n. 886 (estate 2012), pagg. 687–709; Boulanin, V.
e Verbruggen, M., Mapping the Development of Autonomy in Weapon Systems (SIPRI: Stoccolma, novembre 2017);
Marchant, G. E. et al., "Governance internazionale dei robot militari autonomi", Columbia Science and Technology Law
Review, vol. 12 (2015), pagg. 272–315; e Horowitz, M. C., "L'etica e la moralità della guerra robotica: valutare il dibattito sulle
armi autonome", Dædalus, vol. 145, n. 4 (autunno 2016), pagg. 1-16.
5. Sull'effetto equivalente sulle armi biologiche vedi Brockmann, K., Bauer, S. e Boulanin, V., Bio Plus X: Arms Control and the
Convergence of Biology and Emerging Technologies (SIPRI: Stockholm, Mar. 2019).
6. Acton, J. M., "Escalation through entanglement: come la vulnerabilità dei sistemi di comando e controllo solleva i rischi di
una guerra nucleare involontaria", International Security, vol. 43, n. 1 (estate 2018), pagg. 56–99; e Acton, J. M. (a cura di),
Entanglement: Chinese and Russian Perspectives on Non-nucleari Weapons and Nuclear Risks (Carnegie Endowment for
International Peace: Washington, DC, 2017).
7. Studi notevoli che esplorano questo problema tra gli esempi rari includono Altmann, J. e Sauer, F., "Sistemi d'arma
autonomi e stabilità strategica", Survival, vol. 59, n. 5 (novembre 2017), pagg. 117–42; Payne, K., "Intelligenza artificiale: una
rivoluzione negli affari strategici?", Survival, vol. 60, n. 5 (ottobre-novembre 2018), pagg. 7–32;
Horowitz, M. C. et al., Strategic Competition in an Era of Artificial Intelligence (Center for New American Security: Washington,
DC, luglio 2018); Horowitz, M. C., "Intelligenza artificiale, concorrenza internazionale e equilibrio di potere", Texas National
Security Review, vol. 1, n. 3 (maggio 2018), pagg. 37–57; Geist, E. e Lohn, A. J., In che modo l'intelligenza artificiale potrebbe
influire sul rischio di una guerra nucleare? (Rand Corporation: Santa Monica, CA, 2018); e Lieber, K. A. e Press, D. G., "La
nuova era della controforza: cambiamento tecnologico e futuro della deterrenza nucleare", International Security, vol. 41, n. 4
(primavera 2017), pagg. 9–49.

Panoramica
I saggi di questo volume sono raggruppati in tre parti tematiche, ciascuna con una breve introduzione del
curatore.
Demistificare l'intelligenza artificiale e le sue implicazioni militari La parte I mira a fornire al lettore un'immagine
sfumata dello stato dell'IA e di come i suoi recenti progressi potrebbero o non potrebbero essere sfruttati dai
militari nel prossimo futuro.

Il presente autore inizia (nel capitolo 2) con un'introduzione di base all'IA: come viene comunemente definita,
come gli approcci all'IA sono variati nel tempo e cosa è in gioco con l'attuale rinascita dell'IA. Il saggio spiega
che è l'apprendimento automatico, un approccio specifico all'ingegneria dell'IA, il principale responsabile dei
recenti balzi in avanti nello sviluppo di applicazioni di intelligenza artificiale, in particolare i sistemi autonomi.
L'importanza che l'apprendimento automatico e i sistemi autonomi hanno attualmente per il campo dell'IA è la
motivazione principale per il focus di questo volume.

Piuttosto che discutere l'IA in generale, i contributori a questo volume sono stati incaricati di discutere in modo
specifico il potenziale e l'impatto che i progressi in queste tecnologie specifiche potrebbero avere nella sfera
militare, e in particolare nel regno delle armi e delle dottrine nucleari.

Nel secondo saggio (capitolo 3), Dimitri Scheftelowitsch, informatico dell'Università TU Dortmund, si concentra
su un'area di applicazione che può essere considerata un sottoprodotto chiave dell'attuale rinascita dell'IA: i
sistemi autonomi. Spiega, dal punto di vista di un ingegnere, come funzionano i sistemi autonomi, quali tipi di
attività i sistemi autonomi all'avanguardia possono svolgere e quali sono le sfide tecniche e di sicurezza
relative alla progettazione e all'uso di questi sistemi. Scheftelowitsch sostiene che, sebbene le recenti scoperte
nell'intelligenza artificiale abbiano reso possibile l'automazione di diversi compiti precedentemente considerati
complessi (ad esempio il controllo affidabile dei veicoli o il controllo del traffico aereo), rimangono limiti tecnici
su ciò che computer e robot possono ottenere autonomamente. Spiega che, per molte attività e ambienti
operativi, la progettazione di sistemi autonomi che possono essere utilizzati nella pratica rimane una sfida
ingegneristica considerevole perché i requisiti di alimentazione del computer sono troppo significativi o perché
il processo decisionale è troppo difficile da modellare. Ci sono anche importanti questioni tecniche che devono
essere risolte per garantire che questi sistemi possano funzionare in modo affidabile e sicuro una volta
dispiegati, il che è di fondamentale importanza quando i sistemi hanno usi militari.

Nel saggio finale della parte I (capitolo 4), Martin Hagström dell'Agenzia svedese per la ricerca sulla difesa fa
eco alle opinioni di Scheftelowitsch sullo stato dell'apprendimento automatico e dei sistemi autonomi.
Concentrandosi sul caso dei sistemi militari, sottolinea che, mentre l'automazione è stata utilizzata per quasi
un secolo nei sistemi militari, compresi i sistemi d'arma, restano molte sfide per applicazioni generiche ad
ampio raggio di autonomia nella sfera militare. Uno dei più notevoli, dal punto di vista tecnico e operativo, è il
paradossale requisito di prevedibilità. Il comportamento dei sistemi deve essere prevedibile per gli operatori
militari che li utilizzano, ma non abbastanza prevedibile per un nemico che potrebbe altrimenti sfruttare questa
prevedibilità a proprio vantaggio. Per Hagström, la recente svolta nell'apprendimento automatico, che ha
contribuito a risolvere numerosi problemi in diversi campi dell'IA, potrebbe migliorare la progettazione di
sistemi militari autonomi e offrire importanti miglioramenti qualitativi a un'ampia varietà di applicazioni militari,
dai sistemi di difesa informatica ai sistemi di gestione delle informazioni per l'intelligence, la ricognizione e la
sorveglianza (ISR). Spiega, tuttavia, che l'uso di algoritmi di apprendimento automatico complica ulteriormente
la prevedibilità per i militari, dato che una caratteristica chiave dei modelli creati dall'apprendimento automatico
è che non sono trasparenti e quindi non possono essere certificati per l'uso utilizzando metodi di test e verifica
esistenti. L'apprendimento automatico come approccio ingegneristico ha, inoltre, i suoi limiti tecnici.
L'addestramento dei sistemi di apprendimento automatico richiede grandi quantità di dati preregistrati o
simulati al computer che rappresentano l'applicazione, ma molti problemi militari chiave intrinsecamente
mancano di dati (cioè sono sottili) e potrebbero non essere facilmente catturati in una simulazione al
computer.

Intelligenza artificiale, armi e dottrine nucleari: passato, presente e futuro

La parte II esplora le connessioni specifiche tra intelligenza artificiale e armi e dottrine nucleari.

Nel saggio di apertura di questa parte (capitolo 5), John Borrie dell'Istituto delle Nazioni Unite per la ricerca sul
disarmo (UNIDIR) ricorda che il collegamento tra intelligenza artificiale e armi e dottrine nucleari non è nuovo:
gli stati dotati di armi nucleari videro già negli anni '60 che il nascente campo dell'IA potrebbe svolgere un
ruolo nello sviluppo e nel mantenimento della loro capacità di ritorsione. L'Unione Sovietica e gli Stati Uniti
hanno perseguito lo sviluppo di sistemi di intelligenza artificiale che avrebbero reso i loro processi di comando
e controllo più automatizzati, dando ai responsabili politici più tempo per prendere decisioni critiche. Allo
stesso tempo, come spiega Borrie, i responsabili delle politiche nucleari negli Stati Uniti e nell'URSS hanno
anche visto che le tecnologie di intelligenza artificiale avevano limiti reali che richiedevano un controllo e una
supervisione umani significativi.
La domanda chiave è quindi: cosa potrebbe cambiare con i progressi nelle capacità di apprendimento
automatico e nei sistemi autonomi? Questo è il problema che il presente autore affronta nel prossimo saggio
(capitolo 6). La conclusione è che, sebbene si possa stabilire che questi progressi tecnologici potrebbero, in
teoria, essere sfruttati in tutti gli aspetti dell'architettura della deterrenza nucleare (dall'allarme preventivo e
ISR, tramite comando e controllo alla consegna di armi nucleari), tali applicazioni potrebbero non
necessariamente essere rivoluzionario. Porteranno miglioramenti qualitativi ma non risolveranno alcune delle
domande fondamentali su ciò che costituisce un ruolo appropriato per i sistemi autonomi e quale sia un livello
appropriato di delega della valutazione e del processo decisionale alle macchine.
Gli ultimi due saggi nella parte II valutano il ruolo che l'apprendimento automatico e l'autonomia sembrano
giocare attualmente nei piani di modernizzazione delle forze nucleari russe e statunitensi. In particolare, Page
Stoutland della Nuclear Threat Initiative (NTI) e Petr Topychkanov del SIPRI hanno scelto focus radicalmente
diversi per i loro saggi (capitoli 7 e 8): mentre il saggio di Stoutland sugli Stati Uniti è tutto sull'apprendimento
automatico, quello di Topychkanov sulla Russia discute principalmente ruolo dell'autonomia nei sistemi d'arma
nucleare. Questa differenza potrebbe essere spiegata dal fatto che i due paesi sembrano avere approcci
diversi al ruolo dell'IA nel processo decisionale nucleare. Secondo Stoutland, negli Stati Uniti è comunemente
accettato che un essere umano debba prendere la decisione di utilizzare un'arma nucleare, mentre
l'apprendimento automatico e i sistemi autonomi possono avere solo un ruolo di supporto. Avverte, tuttavia,
che anche se limitato a un ruolo di supporto, l'uso dell'apprendimento automatico potrebbe avere importanti
implicazioni di politica nucleare. Al contrario, secondo Topychkanov, la Russia ha deciso nel 2011 di riattivare i
sistemi di comando e controllo nucleari completamente automatizzati che l'URSS ha sviluppato durante la
guerra fredda per la rappresaglia nucleare. Riferisce inoltre che la Russia sta attualmente esplorando la
possibilità di sviluppare sistemi offensivi autonomi che potrebbero essere potenzialmente in grado di fornire
armi nucleari.

Intelligenza artificiale, stabilità strategica e rischio nucleare: prospettive euro-atlantiche

La Parte III indaga l'impatto che l'attuale o potenziale incorporazione dell'IA nei sistemi di forza nucleare
potrebbe avere sulla stabilità strategica e sul rischio nucleare dalle varie prospettive della comunità di esperti
euro-atlantici. Sei studiosi di entrambe le sponde dell'Atlantico e due professionisti di alto livello delle Nazioni
Unite cercano di affrontare la questione di come e quanto l'attuale status quo tra potenze nucleari potrebbe
essere minato dall'adozione di sistemi basati sull'intelligenza artificiale da parte di Stati dotati di armi nucleari.
esso per armi convenzionali o nucleari. Questi saggi intendono fornire un'impressione della prospettiva euro-
atlantica collettiva sull'IA e le armi nucleari, piuttosto che opinioni nazionali o ufficiali specifiche. È degno di
nota a tal riguardo che i contributori, indipendentemente dal loro paese di origine, sembrano giungere alla
stessa ampia conclusione.
Per Michael Horowitz dell'Università della Pennsylvania (nel capitolo 9), l'uso dell'intelligenza artificiale per
automatizzare parti del comando e controllo nucleare e alcuni aspetti della consegna di armi nucleari potrebbe
avere conseguenze sia positive che negative per la stabilità nucleare. In alcuni casi, l'IA potrebbe migliorare la
sicurezza e l'affidabilità nelle operazioni nucleari, in particolare fornendo ai responsabili delle decisioni migliori
informazioni e più tempo per prendere decisioni. Ma i sistemi di intelligenza artificiale sono anche fragili: è
probabile che falliscano in situazioni che non erano state previste nella fase di progettazione, il che potrebbe
potenzialmente portare a un'escalation nucleare accidentale o involontaria. Tuttavia, il rischio maggiore,
secondo Horowitz, potrebbe forse derivare dal modo in cui i militari potrebbero utilizzare applicazioni basate
sull'intelligenza artificiale e sistemi d'arma autonomi per combattere le guerre convenzionali a maggiore
velocità. Horowitz sostiene che la paura di essere superati nel regno convenzionale potrebbe creare incentivi
per gli stati dotati di armi nucleari che non sono fiduciosi nella loro capacità di secondo colpo di adottare
posture nucleari instabili come il lancio su avvertimento o addirittura di colpire per primo in una crisi.
Frank Sauer della Bunderswehr University di Monaco giunge a una conclusione simile (nel capitolo 10).
Condivide il punto di vista di Horowitz secondo cui sono le applicazioni convenzionali dell'IA a causare
preoccupazione. Spiega che le applicazioni militari dell'IA e dell'apprendimento automatico nella guerra
convenzionale generano un maggiore intreccio tra i regni convenzionale e nucleare. Possono creare ulteriori
nuove minacce non nucleari alle armi nucleari e quindi generare instabilità strategica. Sauer è anche
preoccupato per l'implementazione di sistemi autonomi. Teme che la loro interazione sul campo di battaglia
possa causare un'escalation militare indesiderata in una frazione di secondo, che potrebbe avere
conseguenze drammatiche nel caso di uno scontro tra Stati dotati di armi nucleari.
Nel suo saggio (capitolo 11), Jean-Marc Rickli del Geneva Center for Security Policy (GCSP) sottolinea
l'impatto che l'intelligenza artificiale potrebbe avere sulle percezioni degli Stati dotati di armi nucleari delle
reciproche capacità. Sostiene che i progressi nella tecnologia dell'IA presentano la prospettiva di
un'interruzione nel regno della strategia in quanto minano la fiducia che gli stati ripongono nella loro capacità
di secondo colpo. Sottolinea che l'effetto destabilizzante più complicato e ingannevole dell'IA risiede nel fatto
che uno stato dotato di armi nucleari potrebbe facilmente percepire erroneamente le capacità e le intenzioni
del suo avversario.
La convinzione che l'avversario possa sconfiggere la capacità di attacco di secondo colpo dello Stato dotato di
armi nucleari potrebbe essere sufficiente perché lo Stato intraprenda un'azione destabilizzante. Rickli sostiene
quindi che dovrebbe essere un'alta priorità per le potenze nucleari comunicare chiaramente sulle loro capacità
di intelligenza artificiale.
Justin Bronk del Royal United Service Institute (RUSI) si concentra nel suo saggio (capitolo 12) sul caso dei
veicoli aerei da combattimento senza pilota (UCAV).
Discute i fattori che spingono gli stati dotati di armi nucleari e altre grandi potenze militari a sviluppare e
acquisire questi sistemi. Per Bronk, anche se gli UCAV fossero limitati alle missioni di guerra convenzionale, la
loro proliferazione potrebbe avere un impatto sulla stabilità strategica e aumentare il rischio di un'escalation
nucleare. Gli UCAV potrebbero minacciare le difese aeree a terra che un certo numero di stati dotati di armi
nucleari utilizzano per difendere le proprie risorse nazionali critiche. In una situazione di crisi, la paura di
essere attaccati dagli UCAV di un nemico potrebbe esercitare pressioni su uno Stato dotato di armi nucleari
che non è in grado di difendersi efficacemente con i mezzi convenzionali per utilizzare le armi nucleari. Un
altro fattore potenzialmente destabilizzante che Bronk evidenzia è il fatto che gli UCAV saranno,
necessariamente, sistemi d'arma autonomi. Sottolinea che ci sono questioni operative, legali ed etiche critiche
associate all'uso dell'autonomia nelle missioni di combattimento. Per Bronk, gli stati membri
dell'Organizzazione del Trattato del Nord Atlantico (NATO) e i loro alleati dovrebbero assumere la guida nella
definizione di norme sull'uso degli UCAV e dei sistemi d'arma autonomi più in generale.
A differenza degli altri contributi, Shahar Avin dell'Università di Cambridge e S. M. Amadae dell'Università di
Helsinki non concentrano il loro saggio (capitolo 13) sull'effetto diretto e di primo ordine dell'IA sulla
tradizionale architettura di deterrenza nucleare.
Piuttosto, attirano l'attenzione sugli effetti di secondo e di ordine superiore, in particolare le nuove vulnerabilità
che potrebbero essere introdotte nei sistemi periferici che supportano il comando e il controllo nucleare come i
vasti sistemi informatici che raccolgono e analizzano le informazioni rilevanti per il processo decisionale
nucleare. Avin e Amadae discutono anche di come l'apprendimento automatico potrebbe essere utilizzato per
condurre operazioni informatiche contro i sistemi di armi nucleari e influenzare le campagne sul personale che
lavora direttamente o indirettamente con le armi nucleari e i sistemi correlati, nonché sull'opinione pubblica più
ampia. Concludono sottolineando che le misure nazionali e internazionali per migliorare la sicurezza
informatica della base informatica affidabile della deterrenza nucleare saranno di fondamentale importanza per
ridurre il rischio nucleare.
Infine (nel capitolo 14), Anja Kaspersen e Chris King dell'Ufficio delle Nazioni Unite per il disarmo (UNODA)
hanno condiviso le loro opinioni personali su come gli stati potrebbero lavorare insieme e con i partner, nuovi e
vecchi, per affrontare le sfide e le opportunità che AI e le tecnologie emergenti generano stabilità strategica e
rischi nucleari. Sostengono che una priorità dovrebbe essere far progredire la comprensione degli Stati di
come gli sviluppi nella tecnologia potrebbero aumentare il rischio nucleare. Propongono a tale riguardo che il
rischio basato sulla tecnologia dovrebbe essere preso in considerazione nelle discussioni in corso e future
sulla riduzione del rischio nucleare.
Kaspersen e King sostengono che la comunità internazionale dovrebbe lavorare per lo sviluppo di misure di
trasparenza e di rafforzamento della fiducia politicamente vincolanti, come un accordo per non interferire con
le strutture di comando e controllo. Allo stesso tempo ritengono che le misure tradizionali di controllo degli
armamenti dovrebbero essere supportate anche da approcci "soft" o di autoregolamentazione all'innovazione
responsabile. Infine, Kaspersen e King sottolineano che l'IA offre anche opportunità di disarmo e non
proliferazione. Spiegano, ad esempio, che l'IA potrebbe aiutare a monitorare i test nucleari e prevenire
l'approvvigionamento illecito di armi di distruzione di massa.
Il volume si conclude (nel capitolo 15) con una sintesi delle principali conclusioni tratte dai saggi. In particolare,
il capitolo discute la misura in cui i contributori concordano sulle opportunità e sui rischi che la rinascita dell'IA
comporta nel campo delle armi nucleari, delle dottrine nucleari e della stabilità strategica nel contesto euro-
atlantico.
Parte I. Demistificazione dell'intelligenza artificiale e delle sue
implicazioni militari

Negli ultimi anni la rinascita dell'intelligenza artificiale (AI) di questo decennio ha ricevuto una crescente
attenzione da parte dei media popolari e della comunità politica. Tuttavia, nonostante il numero crescente di
pubblicazioni ed eventi pubblici sull'argomento, rimangono miti diffusi e idee sbagliate su cosa sia realmente
l'IA e cosa possono fare i sistemi di IA. Ciò può sembrare sorprendente considerando che questo sottocampo
dell'informatica esiste da più di mezzo secolo. Le idee sbagliate sono in parte ereditate dal modo in cui l'IA è
raffigurata nella cultura popolare e in particolare nella fantascienza. Sono anche rafforzati dal modo in cui i
media spesso tendono a parlare di tecnologia: usano titoli accattivanti che spesso esagerano ciò che la
tecnologia può fare, nel bene e nel male. Il problema con queste idee sbagliate e false dichiarazioni è che
rendono difficile, se non improduttivo, discutere le opportunità ei rischi dell'IA in generale e nel campo della
sicurezza in particolare, poiché oscurano le vere possibilità e limitazioni della tecnologia dell'IA. I seguenti tre
saggi mirano quindi a fornire ai lettori una panoramica generale ma sfumata di ciò che sta accadendo
attualmente nel campo dell'IA.
Il primo saggio (capitolo 2) inizia con un'introduzione di base all'IA e discute le componenti e le implicazioni
dell'attuale rinascita dell'IA. In particolare, spiega perché l'apprendimento automatico e i sistemi autonomi
sono al centro di questo volume. I saggi successivi forniscono le prospettive di un ingegnere civile e di un
ingegnere militare sullo stato attuale della tecnologia AI, concentrandosi sul caso dei sistemi autonomi. Dimitri
Scheftelowitsch (nel capitolo 3) discute in termini generali quali tipi di attività i sistemi di IA all'avanguardia
possono e non possono intraprendere e perché. Passando al caso dei sistemi militari, Martin Hagström (nel
capitolo 4) pone il ruolo dell'automazione e dell'autonomia nei sistemi militari in una prospettiva storica e
valuta il ruolo che l'apprendimento automatico potrebbe svolgere nei futuri sistemi militari, compresi i sistemi
autonomi militari.

Vincent Boulanin

2. Intelligenza artificiale: un primer

Vincent Boulanin

Il concetto di intelligenza artificiale (AI) è stato coniato a metà degli anni '50 da John McCarthy, che lo ha
definito in senso ampio come “scienza e ingegneria per creare macchine intelligenti”. 1 Tuttavia, il concetto di AI
significa cose diverse per persone diverse, in parte perché il suo oggetto - l'intelligenza - è difficile da definire. 2
Inoltre, l'intelligenza artificiale ha, come ha detto un osservatore, "un po 'un problema hollywoodiano": la
cultura popolare ha reso facile parlare di applicazioni di intelligenza artificiale, dai robot all'assistente digitale
intelligente, ma allo stesso tempo ha “distorto” [ed ] aspettative'. 3
Esiste un enorme divario tra la realtà di ciò che può fare l'IA e la comprensione, le aspettative e le paure del
pubblico, compresi i responsabili politici spesso informati.
Per sfatare potenziali malintesi e incomprensioni su cosa sia l'IA, questo saggio fornisce un'introduzione di
base a questo campo della scienza e della tecnologia. Inizia (nella sezione I) osservando come è stata definita
l'IA, come gli approcci all'IA sono cambiati nel tempo e qual è la posta in gioco con l'attuale rinascita dell'IA.
Presenta quindi due sviluppi relativi all'intelligenza artificiale che probabilmente richiedono particolare
attenzione quando si considera il potenziale dell'IA nella sfera militare: apprendimento automatico (sezione II)
e sistemi autonomi (sezione III).

I. Cos'è l'IA?

Il concetto e le sue interpretazioni

Per la maggior parte dei ricercatori di intelligenza artificiale, l'intelligenza artificiale consiste nel creare
macchine in grado di imitare capacità che di solito sono associate all'intelligenza umana, come l'osservazione
del mondo attraverso la visione, l'elaborazione del linguaggio naturale o l'apprendimento.
Alcuni ricercatori di intelligenza artificiale distinguono tra la cosiddetta IA stretta (o debole) e l'intelligenza
artificiale generale (AGI o IA forte).
L'AGI è un'intelligenza artificiale generica: un'intelligenza artificiale che corrisponderebbe, se non
supererebbe, la capacità di un essere umano di dare un senso al mondo e di sviluppare una comprensione del
suo ambiente. È il tipo di intelligenza artificiale tipicamente rappresentato nella cultura popolare in film come
Terminator, Blade Runner o 2001: Odissea nello spazio. AGI ha sempre affascinato i ricercatori di IA, ma il suo
design rimane una sfida tecnica irrisolta. Ci sono, infatti, forti disaccordi sul fatto che AGI sarà mai possibile.
Anche i ricercatori di intelligenza artificiale più ottimisti ammettono che i programmi AGI rimarranno nel regno
della fantascienza per il prossimo futuro. 4
L'intelligenza artificiale stretta esiste da decenni ed è il tipo di intelligenza artificiale ampiamente utilizzato oggi.
I sistemi di IA ristretta sono programmi software complessi in grado di eseguire attività “intelligenti” discrete
come il riconoscimento di oggetti o persone dalle immagini, la traduzione del linguaggio o il gioco. I sistemi di
intelligenza artificiale ristretta eseguono calcoli complessi, ma sono fragili in natura: sono limitati dai confini
della loro programmazione e funzionano, almeno in modo affidabile, solo per le attività e l'ambiente operativo
previsti. Questo è il tipo di intelligenza artificiale a cui si riferisce questo volume quando parla di intelligenza
artificiale.
Ai fini di questo saggio - e di questo volume più in generale - AI è un termine generico che si riferisce a un
ampio insieme di tecniche computazionali che consentono a computer e robot di risolvere problemi complessi
e apparentemente astratti che in precedenza avevano ceduto solo alla cognizione umana. 5 Un elemento di
definizione chiave da tenere a mente è che l'IA (ristretta) non è una tecnologia definita e unificata. Invece, è
una tecnologia di portafoglio che comprende un'ampia varietà di applicazioni abilitanti che possono essere
utilizzate per “conoscere” (cioè dare una qualche forma di capacità cognitiva) a più tipi di tecnologia, inclusa la
tecnologia delle armi.
L'intelligenza artificiale è spesso descritta come una tecnologia nuova o emergente, ma non lo è. Come
disciplina accademica, ha più di mezzo secolo. Le applicazioni di IA ristretta sono state utilizzate per scopi
civili e militari dagli anni '60.6
Una costante nel dibattito pubblico è stato l'uso del concetto di AI per riferirsi alle più recenti tecnologie
informatiche. Una volta che queste tecnologie sono state ampiamente distribuite e adottate, non sono più
pensate o rappresentate come tecnologie di intelligenza artificiale.
In altre parole, la frontiera dell'IA è sempre in movimento: quella che oggi è considerata AI può essere
considerata una normale tecnologia software nel prossimo futuro.

L'attuale campagna pubblicitaria AI: apprendimento automatico e sistemi autonomi

Dagli anni '50, il campo dell'IA ha attraversato diversi “cicli di hype”: ogni periodo di grande successo (un
“estate AI”) è stato inevitabilmente seguito da un periodo di disillusioni (un' “inverno AI”) come nuovo e
promettente approccio dell'intelligenza artificiale alla fine non è riuscita a soddisfare le sue aspettative iniziali. 7
Questi inverni di intelligenza artificiale in genere hanno comportato tagli ai finanziamenti.
Dall'inizio di questo decennio, il campo dell'IA sta vivendo una nuova estate a causa di una svolta
nell'apprendimento automatico. Questo approccio allo sviluppo del software di intelligenza artificiale esiste
dall'inizio della ricerca sull'intelligenza artificiale, ma nell'ultimo decennio ha beneficiato enormemente del
progresso della potenza del computer e della crescente disponibilità di dati digitali. 8
Come le precedenti estati di intelligenza artificiale, le storie di successo su ciò che gli attuali sistemi di
intelligenza artificiale possono ottenere hanno incanalato grande interesse e investimenti verso l'approccio più
promettente all'ingegneria dell'IA, attualmente l'apprendimento automatico, ma anche verso applicazioni
concrete che potrebbero derivarne. Un ambito di applicazione che ha ricevuto notevole attenzione negli ultimi
anni è l'autonomia.
L'autonomia (o “autonomia della macchina”) può essere definita come la capacità di una macchina di eseguire
uno o più compiti senza input umano, utilizzando le interazioni della programmazione del computer con
l'ambiente.9 Un sistema autonomo è, per estensione, solitamente inteso come un sistema — Se hardware o
software — che, una volta attivato, può eseguire autonomamente alcune attività o funzioni. I progressi
nell'apprendimento automatico hanno aperto importanti opportunità per aumentare le capacità autonome
all'interno dei sistemi e sviluppare sistemi autonomi commercialmente validi, come assistenti vocali AI, auto
autonome o armi autonome.

II. Apprendimento automatico: un fattore chiave per la rinascita dell'IA

Cos'è l'apprendimento automatico?

L'apprendimento automatico è un approccio allo sviluppo del software che prima costruisce sistemi in grado di
apprendere e poi insegna loro cosa fare utilizzando una varietà di metodi (ad esempio apprendimento
supervisionato, apprendimento di rinforzo o apprendimento senza supervisione). 10
Elimina la necessità di una programmazione codificata a mano, in base alla quale le funzionalità software
hard-code degli esseri umani nei sistemi. 11
L'apprendimento automatico era un sottocampo marginale dell'IA negli anni '60 e '70 poiché era di uso pratico
limitato. Negli anni '80 e '90 la digitalizzazione di molte industrie e l'emergere di grandi set di dati, sui quali è
possibile addestrare i sistemi di apprendimento automatico, riaccese l'interesse e ispirò lo sviluppo di nuove
tecniche. Tra queste c'erano versioni raffinate di un metodo noto come “reti neurali artificiali”, che attinge alla
conoscenza del cervello umano, delle statistiche e della matematica applicata.
Il vantaggio principale dell'apprendimento automatico rispetto alla tradizionale programmazione codificata a
mano è che un essere umano non deve definire esplicitamente il problema che deve essere risolto dal
software e il modo in cui risolve il problema. La programmazione codificata a mano di solito richiede una
grande quantità di ricerche su come funziona il mondo.
Al fine di sviluppare il modello e le regole che governeranno il comportamento di un sistema autonomo, gli
ingegneri in via di sviluppo collaborano spesso con scienziati di altri campi scientifici, in particolare le scienze
naturali (es. Neuroscienze e fisica) e le scienze sociali (es. Psicologia, linguistica e sociologia).

Riquadro 2.1. Apprendimento profondo

Il deep learning è un approccio all'apprendimento automatico in base al quale il sistema “impara” come
eseguire un'attività in modi supervisionati, semi-supervisionati o non supervisionati. Trasforma l'input di dati
grezzi in rappresentazioni astratte (caratteristiche) che possono essere efficacemente sfruttate in attività di
apprendimento automatico, come il riconoscimento di un oggetto in un'immagine. a
La forza del deep learning sta nella sua capacità di introdurre rappresentazioni che vengono espresse in
termini di altre rappresentazioni più semplici. In altre parole, consente al computer di costruire concetti
complessi da concetti più semplici. Un sistema di apprendimento profondo può, ad esempio, rappresentare il
concetto di un'immagine di una persona combinando concetti semplici, come angoli e contorni. a Il successo
del deep learning è stato supportato da due tendenze. La prima è stata la diffusa commercializzazione delle
unità di elaborazione grafica (GPU), un tipo di chip per computer che ben si adatta alle operazioni di
apprendimento automatico. In secondo luogo, e forse più importante, è stata la diffusa democratizzazione di
Internet e dei social media, che ha portato a un'esplosione dei volumi di dati digitali su cui possono essere
addestrati algoritmi di apprendimento automatico.
Negli ultimi anni, l'apprendimento profondo è diventato l'approccio più alla moda all'ingegneria dell'intelligenza
artificiale (AI), ma questo non significa che abbia soppiantato totalmente altri approcci.
Molte applicazioni di intelligenza artificiale all'avanguardia non utilizzano il deep learning o anche il machine
learning. Molti continuano a fare affidamento su conoscenze di esperti hard-coded relativamente antiquate,
mentre altri possono utilizzare metodi di apprendimento automatico consolidati come le statistiche bayesiane o
gli algoritmi evolutivi.b
In altre parole, i metodi di programmazione tradizionali dell'IA continueranno ad essere rilevanti. In effetti,
alcuni sostengono che macchine veramente intelligenti possono essere sviluppate solo combinando
l'apprendimento automatico con la programmazione tradizionale che può introdurre conoscenza astratta e uno
strato di ragionamento basato sul buon senso.c
a
Goodfellow, I., Bengio, Y. e Courville, A., Deep Learning (MIT Press: Cambridge, MA, 2016), p. 8.
b
Hao, K., "Abbiamo analizzato 16.225 articoli per capire dove andrà a finire l'IA", MIT Technology Review, 25
gennaio 2019.
c
Thompson, C., "Come insegnare all'intelligenza artificiale un po 'di buon senso", Wired, 13 novembre 2018.

La programmazione codificata a mano diventa difficile per le attività e gli ambienti operativi troppo complessi
per un essere umano da modellare completamente. 12 Uno di questi problemi è il riconoscimento delle
immagini. È difficile per l'uomo esprimere in termini matematici ciò che distingue le immagini di gatti dalle
immagini di cani. L'apprendimento automatico consente agli ingegneri di aggirare questa difficoltà, poiché
consente a un sistema di riconoscimento delle immagini di generare il proprio modo di percepire le
differenze.13
Quando viene utilizzato in un contesto non tecnico, il termine “apprendimento” a volte può essere fonte di
confusione, poiché invita a un'interpretazione antropomorfica. Tuttavia, il modo in cui funziona l'apprendimento
automatico non ha nulla a che fare con il modo in cui gli esseri umani apprendono: le macchine apprendono
trovando relazioni statistiche nei dati passati. 14 Gli ingegneri usano il termine "apprendimento" per ragioni
pratiche: è un modo conciso e facile da ricordare per descrivere un processo di elaborazione complesso.
L'ascesa del deep learning come approccio dominante all'ingegneria dell'IA

Nel 2006 Geoffrey Hinton, uno psicologo cognitivo e scienziato informatico presso l'Università di Toronto, è
stato coautore di un articolo accademico su quello che all'epoca era considerato un problema accademico
irrimediabilmente ammuffito nella comunità AI: come far funzionare le reti neurali più rapidamente e più
efficacemente.15 Una rete neurale è una possibile architettura per l'apprendimento automatico che è stata
brevemente popolare negli anni '80 ma poi è diventata marginale e non finanziata: secondo quanto riferito,
all'inizio degli anni 2000, non più di cinque ricercatori specializzati in reti neurali. 16 Hinton è stato uno degli
ultimi studiosi della comunità di intelligenza artificiale a credere che l'apprendimento automatico, e le reti
neurali in particolare, fosse un approccio promettente per lo sviluppo di sistemi di intelligenza artificiale
veramente efficaci. Il documento ha dimostrato che, se combinate in diversi livelli, le reti neurali potrebbero
essere molto potenti. Quando lo pubblicarono, Hinton ei suoi coautori non si resero conto di essere su
qualcosa che era pronto non solo a trasformare il campo dell'IA dall'interno, ma anche a riaccendere un
enorme interesse per l'apprendimento automatico e il campo dell'IA più in generale. 17
La tecnica che hanno escogitato - in seguito ribattezzata “deep learning” - era quella di superare le tradizionali
tecniche di programmazione AI con un ampio margine (vedi riquadro 2.1).
I sistemi di intelligenza artificiale che si basano sull'apprendimento profondo battono sistematicamente i
sistemi di intelligenza artificiale esistenti nell'implementazione di attività come il riconoscimento di immagini o
parole, la traduzione della lingua o il gioco di giochi come gli scacchi. 18
Sia l'industria che i governi individuarono presto importanti opportunità e iniziarono a investire
nell'apprendimento profondo e nell'apprendimento automatico in modo più ampio. Le grandi aziende
tecnologiche come Google e Facebook sono state le più veloci a reagire. All'inizio di questo decennio, hanno
acquistato le start-up più innovative che lavoravano con il deep learning. 19 Hanno anche reclutato i pochi
studiosi rimasti attivi in questo campo e creato team di ricerca dedicati. 20 Molte applicazioni che queste
aziende commercializzano oggi, dagli smartphone alle piattaforme di social media, sono supportate dal deep
learning.
I governi svilupparono gradualmente anche un grande interesse per l'apprendimento profondo e la promessa
che manteneva in termini di consentire lo sviluppo e l'uso di applicazioni pratiche e potenti sia nella sfera civile
che in quella militare. Le istituzioni governative per il finanziamento della ricerca, come la Defense Advanced
Research Projects Agency (DARPA) degli Stati Uniti, hanno iniziato a investire denaro in progetti di ricerca e
sviluppo relativi al machine learning, mentre i governi hanno avviato discussioni interne su quale dovrebbe
essere la loro strategia verso il deep learning. 21
Tra il 2017 e l'inizio del 2019 almeno 17 paesi hanno rilasciato una strategia nazionale o fatto un annuncio di
politica strategica sull'IA.22

Riquadro 2.2. Reti generative del contraddittorio

La rete generativa antagonista (GAN) è un nuovo approccio (inventato nel 2014) che coinvolge due
sistemi di reti neurali artificiali che possono interagire tra loro per creare immagini, contenuti audio o
video originali ultra-realistici, qualcosa che le macchine non sono mai state in grado di fare fare
correttamente prima.
Le due reti vengono addestrate sullo stesso set di dati. Uno, noto come il generatore, ha il compito di
creare variazioni sulle immagini che ha già visto. Al secondo, noto come discriminatore, viene
chiesto di identificare se l'esempio che vede è come le immagini su cui è stato addestrato o un falso
prodotto dal generatore. Nel tempo, il generatore diventa così buono che il discriminatore non può
individuare i falsi.
Le potenziali conseguenze di questa svolta sono sia positive che negative. Da un lato, potrebbe
aiutare un sistema di machine learning a generare nuovi dati per addestrarsi; d'altra parte, potrebbe
creare falsificazione digitale per scopi criminali o di guerra informatica.
Fonte: Condliffe, J., "Dueling neural networks: giocando al gatto e al topo con i dati, un paio di
sistemi di intelligenza artificiale possono acquisire un'immaginazione", MIT Technology Review,
vol. 121, n. 2 (Marzo/Aprile 2018).
Opportunità e sfide

Sia dal settore industriale che dal lato governativo, è opinione comune che il rinascimento dell'IA avviato da
Hinton e dai suoi colleghi abbia portato la sua quota di opportunità e sfide. 23
Dal lato delle opportunità, l'apprendimento automatico non ha più bisogno di dimostrare il proprio potenziale.
Ha già notevolmente migliorato la capacità di computer e robot di percepire il mondo, il che ha accelerato lo
sviluppo di sistemi autonomi come auto a guida autonoma e assistenti vocali. 24 L'apprendimento automatico si
è inoltre dimostrato un potente strumento per la gestione dei dati. Può essere utilizzato non solo per
classificare i dati, ma anche per trovare correlazioni nei dati che possono quindi essere utilizzati per fare
previsioni statistiche sul comportamento futuro. I fornitori di servizi Internet, come Google, Facebook o Baidu,
utilizzano regolarmente l'apprendimento automatico per etichettare e organizzare contenuti come testo,
immagini e video e per prevedere le preferenze dei clienti. 25
Le forze armate nazionali stanno ora cercando di sviluppare una capacità simile per elaborare i dati di
intelligence.26 La capacità dell'apprendimento automatico di identificare i modelli può essere utilizzata anche
per rilevare anomalie nei dati. Le aziende di sicurezza informatica fanno sempre più affidamento
sull'apprendimento automatico per rilevare nuovi malware, mentre l'industria della sorveglianza sta esplorando
la possibilità di utilizzare l'apprendimento automatico per rilevare comportamenti anomali nei filmati CCTV. 27
L'apprendimento automatico si è rivelato utile anche per ottimizzare le prestazioni di compiti complessi, come
il controllo di un gran numero di robot. 28 Può persino generare nuovi contenuti come immagini, suoni o storie
scritte ultra realistiche. Ciò è stato ottenuto con un nuovo approccio basato sull'apprendimento automatico
noto come rete generativa avversaria (GAN, vedere riquadro 2.2), che potrebbe diventare la prossima grande
novità nella comunità AI. 29 L'apprendimento automatico è molto promettente, ma ha anche carenze
significative. Il primo, e forse il più saliente, riguarda la sua dipendenza dai dati. I sistemi basati
sull'apprendimento automatico sono validi solo quanto i dati su cui vengono addestrati. 30 Per essere
insegnato, un sistema di apprendimento automatico deve essere dotato di grandi volumi di esempi di parole
reali (dati di addestramento) e regole sulle relazioni tra i dati. Per riconoscere un tipo di oggetto in
un'immagine (ad esempio un'auto, un autobus o un cane), potrebbe essere necessario addestrare un sistema
di visione artificiale con milioni di immagini di quel tipo di oggetto. La qualità dei dati su cui vengono addestrati
i sistemi è altrettanto importante. Se il set di dati di addestramento non è rappresentativo, il sistema potrebbe
fallire, potrebbe funzionare male o potrebbe disinformare le decisioni e le azioni umane rafforzando i pregiudizi
umani esistenti o creandone di nuovi. 31 La ricerca ha dimostrato, ad esempio, che i sistemi di riconoscimento
facciale addestrati con set di dati che includono principalmente immagini di uomini dalla pelle chiara hanno
maggiori probabilità di identificare erroneamente i volti di donne o persone con la pelle più scura. 32
Le aziende e i governi che desiderano sviluppare e utilizzare l'apprendimento automatico hanno quindi una
doppia sfida: devono trovare sia un insieme sufficientemente ampio di dati di formazione sia un modo per
garantire che questi dati siano affidabili. Numerosi rapporti di notizie recenti indicano che le aziende e i governi
stanno lottando con questa sfida. 33
Un altro problema fondamentale e correlato è il fatto che gli algoritmi di apprendimento automatico sono
opachi. I tradizionali sistemi di IA artigianali ragionano secondo regole e logiche, rendendo il funzionamento
interno trasparente a chiunque abbia voglia di esaminare il codice. Al contrario, un sistema di apprendimento
automatico, in particolare uno che si basa su reti neurali profonde, funziona come una scatola nera. 34 L'input e
l'output di un tale sistema sono osservabili, ma il processo computazionale che porta dall'uno all'altro è difficile
da capire per gli esseri umani. È particolarmente difficile per gli esseri umani capire cosa ha appreso un tale
sistema e quindi come potrebbe reagire a dati di input diversi da quelli utilizzati durante la fase di
addestramento.35 La mancanza di trasparenza e spiegabilità di questi sistemi crea a sua volta un problema
fondamentale di prevedibilità. Un sistema di apprendimento automatico potrebbe fallire in modi impensabili per
gli esseri umani perché gli ingegneri non hanno una piena comprensione del suo funzionamento interno. Nel
contesto dei sistemi d'arma, questa imprevedibilità potrebbe avere conseguenze drammatiche. La mancanza
di trasparenza è problematica anche dal punto di vista normativo in quanto rende complesso il compito di
identificare la fonte di un problema e di attribuire la responsabilità quando qualcosa va storto. 36
Inoltre, i sistemi di intelligenza artificiale addestrati con l'apprendimento automatico possono superare le
prestazioni umane per molte attività, ma mancano ancora di ciò che gli umani intendono come buon senso di
base.
I sistemi di visione artificiale, ad esempio, non percepiscono un modello a livello astratto, come farebbe un
essere umano. Vedono solo una correlazione tra un gruppo di pixel.
Un sistema di riconoscimento facciale non potrebbe dire la differenza tra una persona reale e un'immagine di
un'immagine all'interno di un'immagine: in entrambi i casi sarebbe un'identificazione positiva. Uno studio ha
anche recentemente dimostrato che le variazioni in un'immagine che sono impercettibili all'occhio umano
potrebbero far sì che un sistema di riconoscimento delle immagini etichetti completamente in modo errato
l'oggetto o le persone nell'immagine (ad esempio scambiando un leone per un'auto o un edificio). 37 Un altro
studio ha dimostrato che è facile produrre immagini completamente irriconoscibili per gli esseri umani, ma che
il software di visione artificiale ritiene di essere un oggetto riconoscibile con oltre il 99% di sicurezza. 38
In altre parole, i sistemi di apprendimento automatico potrebbero non essere affidabili: possono essere
facilmente ingannati (il che è particolarmente problematico se utilizzati in un contesto conflittuale come un
conflitto armato) o possono fallire in modi imprevedibili secondo gli standard umani.
In sintesi, mentre i recenti progressi nell'apprendimento automatico hanno creato importanti opportunità per lo
sviluppo di sistemi di intelligenza artificiale altamente efficienti, compresi i sistemi autonomi, l'apprendimento
automatico è ancora, per molti aspetti, una tecnologia immatura. Rimangono molte sfide tecniche pratiche
associate all'uso di metodi di apprendimento automatico. La domanda fondamentale con cui sviluppatori,
utenti e regolatori stanno attualmente lottando è come garantire l'adozione e l'uso responsabile di questa
tecnologia. Questa domanda è particolarmente urgente per i sistemi e le applicazioni che sono critici per la
sicurezza (ad es. Automobili, aeroplani e armi) o che potrebbero avere un impatto sulla società (ad es. Servizi
sanitari ed educativi).

III. Autonomia: un sottoprodotto chiave del rinascimento dell'IA

Cos'è l'autonomia?
In quanto area tecnologica, l'autonomia è correlata ma distinta dall'IA. Mentre l'apprendimento automatico può
essere descritto come l'ingrediente chiave dell'attuale rinascita dell'IA (e il clamore associato), l'autonomia può
essere descritta come uno dei suoi sottoprodotti chiave. I sistemi autonomi che vanno dagli assistenti AI (ad
esempio Alexa di Amazon o Siri di Apple), passando per auto a guida autonoma e veicoli aerei senza pilota a
pilotaggio automatico (UAV) alle armi autonome sono tra gli sviluppi tecnologici più dibattuti derivanti
dall'attuale rinascita dell'IA e con il più alto livello di attenzione dei media. 39
Come discusso in precedenza, “autonomia” può essere intesa come la capacità di una macchina di eseguire
uno o più compiti, senza input umano, utilizzando le interazioni di sensori, programmazione di computer e
attuatori con l'ambiente.40 Tuttavia, il concetto di autonomia e di autonomia i sistemi più in generale significano
cose diverse per persone diverse, principalmente perché l'autonomia è una nozione relativa che può essere
interpretata in diversi modi. Il livello di autonomia di un sistema può essere analizzato da tre diverse e
indipendenti prospettive (vedi figura 2.1): (a) in base alla misura in cui gli esseri umani sono coinvolti
nell'esecuzione del compito svolto dal sistema; (b) in base alla misura in cui il sistema può esercitare il
controllo sul proprio comportamento e affrontare le incertezze nel proprio ambiente operativo; e (c) in base al
numero e ai tipi di funzioni automatizzate. 41
Questa incertezza di definizione appare chiaramente in questo volume: i contributori a volte usano
terminologia e metriche diverse per parlare di autonomia. Ad esempio, alcuni esperti fanno una distinzione tra
sistemi automatici, automatizzati e autonomi, mentre altri usano questi termini in modo intercambiabile (vedi
riquadro 2.3).
Ai fini analitici di questo volume, non è necessario risolvere quel dibattito concettuale: il livello di autonomia dei
sistemi può essere analizzato attraverso lenti diverse e ogni lente ha un proprio valore analitico.

Basato sul rapporto di comando e controllo umano

I sistemi semi-autonomi eseguono alcune operazioni in modo autonomo ma rimangono sotto il controllo attivo
di un operatore umano
I sistemi autonomi supervisionati dall'uomo operano in modo completamente autonomo ma rimangono sotto la
supervisione di un operatore umano che può supervisionare
I sistemi completamente autonomi operano in modo completamente autonomo senza la supervisione diretta
di un operatore umano.

Basato sulla sofisticazione della capacità decisionale del sistema

I sistemi reattivi seguono le regole condizione-azione (note anche come regole "se-allora")
I sistemi deliberativi utilizzano un modello del mondo (informazioni su come funziona il mondo e le reazioni
alle azioni del sistema), una funzione di valore (che fornisce informazioni sull'obiettivo desiderato) e una serie di
regole potenti che lo aiutano a cercare e pianificare come raggiungere l'obiettivo

I sistemi di apprendimento possono migliorare le loro prestazioni nel tempo attraverso l'esperienza
Figura In
2.1. Approcci
base alla definizione
al numero e ai tipi diefunzioni
classificazione dei sistemi autonomi Fonte: Boulanin, V. e Verbruggen, M., Mapping the
automatizzate
Development of Autonomy
I compiti in Weaponmobilità,
operativi includono Systemsgestione
(SIPRI: della
Stockholm,
salute Nov.2017).
(rilevamento dei guasti), ecc.
I compiti della missione includono l'identificazione e la selezione del bersaglio, il rilevamento di esplosivi, ecc.

Opportunità e sfide42

I progressi nell'autonomia stanno generando grandi aspettative sia in ambito civile che militare in quanto
migliorano l'utilità e l'affidabilità dei sistemi robotici, che a loro volta potrebbero generare significativi vantaggi
economici e operativi.
Le aziende, le istituzioni governative e le forze armate potrebbero ottenere una maggiore efficienza della
manodopera aumentando la loro dipendenza dai sistemi robotici. 43 I progressi nell'autonomia potrebbero
anche consentire loro di superare una serie di sfide operative associate alle operazioni con equipaggio o
all'uso di sistemi teleoperati. 44

Riquadro 2.3. Automatico, automatizzato, autonomo

Automatico

L'etichetta "automatico" è solitamente riservata ai sistemi che rispondono meccanicamente a input sensoriali e
passano attraverso procedure predefinite e il cui funzionamento non può accogliere le incertezze nell'ambiente
operativo. Un esempio di ciò è un braccio robotico utilizzato nell'industria manifatturiera.

Automatizzato contro autonomo

Le macchine che possono far fronte alle variazioni del loro ambiente ed esercitare il controllo sulle loro azioni
possono essere descritte come automatizzate o autonome. Ciò che distingue un sistema automatizzato da un
sistema autonomo è una questione controversa.

Alcuni esperti vedono la differenza in termini di grado di autogoverno. Considerano i sistemi autonomi
semplicemente come forme più complesse e intelligenti di sistema automatizzato.

Altri vedono il valore nel fare una chiara distinzione tra i due concetti. Un rapporto dell'US Defense Science Board
presenta un sistema automatizzato come un sistema governato da "regole prescrittive che non consentono
deviazioni".a Ciò significa che il sistema segue logicamente un insieme predefinito di regole per fornire un
risultato; il suo output è prevedibile se l'insieme di regole in base alle quali opera è noto. Al contrario, un sistema
autonomo è in grado di "comporre e selezionare in modo indipendente tra diverse linee di azione per raggiungere
obiettivi in ​base alla sua conoscenza e comprensione del mondo, di se stesso e della situazione". b

Mentre la distinzione tra i termini automatico, automatizzato e autonomo può essere concettualmente utile, in
pratica è difficile determinare a quale delle tre categorie appartiene un sistema. Inoltre, le definizioni e i confini tra
queste tre categorie rimangono contestati all'interno e tra le comunità di esperti.

a Dipartimento della Difesa degli Stati Uniti (DOD), Defense Science Board, Report of the Defense Science Board
Summer Study on Autonomy (DOD: Washington, DC, giugno 2016), p. 4.
b Dipartimento della Difesa degli Stati Uniti (nota a), p. 4.

Fonte: Boulanin, V. e Verbruggen, M., Mapping the Development of Autonomy in Weapon

Systems (SIPRI: Stoccolma, novembre 2017).

Autonomia significa che un sistema robotico può eseguire alcune attività molto più velocemente di quanto
possa mai fare qualsiasi robot umano o azionato da esseri umani, il che per i militari è particolarmente
attraente per missioni o compiti critici in termini di tempo come difesa aerea, combattimento aria-aria o cyber -
difesa. L'autonomia può rendere i sistemi robotici molto più agili dal punto di vista del comando e controllo e
ridurre la necessità di mantenere un collegamento di comunicazione costante tra il robot e il comando militare.
Può anche consentire alle forze armate di ridurre il numero di operatori umani e analisti necessari per
sorvegliare il sistema ed elaborare le informazioni. L'autonomia è utile anche per le cosiddette missioni noiose,
sporche e pericolose (3D) in quanto rimuove i limiti (ad esempio stanchezza, noia, fame o paura) che possono
peggiorare le prestazioni umane nel tempo. L'autonomia offre anche ai sistemi una maggiore portata.
Garantisce l'accesso a teatri operativi precedentemente inaccessibili ai sistemi telecomandati o troppo
rischiosi per le operazioni presidiate. Queste includono aree protette da sistemi anti-accesso/diniego di area
(A2/AD) e aree con ambienti operativi difficili per gli esseri umani (e dove la comunicazione è limitata), come le
acque profonde, l'Artico e, potenzialmente, lo spazio esterno. Infine, l'autonomia fornisce anche nuove
opportunità per le operazioni collaborative in quanto consente ai sistemi d'arma di operare in grandi gruppi, o
"sciami", in un modo molto più coordinato, strutturato e strategico rispetto a se fossero controllati
individualmente da un operatore umano.

I progressi nell'autonomia, tuttavia, sollevano un ampio spettro di preoccupazioni etiche, legali e di sicurezza,
che si applicano sia alle applicazioni civili che militari. Da un punto di vista etico, lo sviluppo dell'autonomia in
sistemi critici per la sicurezza come automobili o armi solleva l'annosa questione se, e in quale misura, i
sistemi autonomi dovrebbero essere considerati affidabili per operare al di fuori del controllo e della
supervisione umani diretti. La discussione intergovernativa in corso sui sistemi d'arma autonomi letali (LAWS)
nel quadro della Convenzione del 1980 su alcune armi convenzionali (Convenzione CCW) e il dibattito sugli
incidenti automobilistici che coinvolgono auto semi-autonome hanno dimostrato che non esiste una risposta
semplice a questa domanda.46 La questione dell'equilibrio tra autonomia e controllo umano ha anche
implicazioni giuridiche profonde e complesse, in particolare per quanto riguarda l'attribuzione della
responsabilità penale individuale: chi dovrebbe essere perseguito quando un'auto a guida autonoma o
un'arma autonoma causano danni? Alcuni esperti legali sostengono che la proliferazione di sistemi autonomi
si sta verificando in un vuoto giuridico o in una zona grigia, il che potrebbe rendere difficile la determinazione
della responsabilità legale in caso di incidente mortale. 47

I progressi nell'autonomia creano anche nuovi rischi per la sicurezza. Oltre alla crescente vulnerabilità agli
attacchi informatici, i limiti dei sistemi autonomi esistenti in termini di intelligenza percettiva e decisionale
potrebbero essere facilmente sfruttati da un attore malevolo che potrebbe sconfiggere un sistema
semplicemente falsificando i sensori oi sistemi di controllo. 48

Più in generale, la crescente adozione e dipendenza da sistemi autonomi è destinata ad innescare profondi
cambiamenti sociali.49 Tra gli altri effetti, cambierà il modo in cui operano le aziende, le agenzie governative e
le forze armate. Prendendo il caso di un'aeronautica militare come esempio, la sostituzione di aerei da
combattimento con equipaggio con sistemi aerei autonomi senza pilota richiederà un cambiamento nel modo
in cui il personale viene selezionato, addestrato e destinato a operare, con il controllo che si sposta da un
pilota a un operatore remoto e poi a un supervisore dei sistemi, che a sua volta potrebbe causare grandi
cambiamenti nella cultura professionale. 50

IV. Conclusioni

In un saggio del giugno 2018 su The Atlantic, Henry Kissinger, un ex Segretario di Stato americano, sostiene
che "l'Illuminismo è iniziato con intuizioni essenzialmente filosofiche diffuse da una nuova tecnologia. Il nostro
periodo si sta muovendo nella direzione opposta. Ha generato una tecnologia potenzialmente dominante alla
ricerca di una filosofia guida.'51
La tecnologia dominante a cui si riferisce è l'intelligenza artificiale. I recenti progressi nell'apprendimento
automatico hanno sbloccato numerose possibilità, inclusa quella di creare sistemi sempre più autonomi.
Tuttavia, sviluppatori e utenti allo stesso modo hanno solo iniziato a capire come utilizzarlo al meglio e anche
come non dovrebbero usarlo.52
Le grandi aziende di intelligenza artificiale si sono unite e hanno lanciato diverse iniziative volte a guidare la
riflessione globale su queste questioni, in particolare il partenariato sull'intelligenza artificiale e OpenAI. 53
Anche l'Institute of Electrical and Electronics Engineers (IEEE), la più grande associazione mondiale di
ingegneri, ha avviato una conversazione, che non si limita ai suoi membri, sullo sviluppo responsabile dei
sistemi di intelligenza artificiale. 54

Alcuni stati, attraverso una strategia nazionale sull'intelligenza artificiale, stanno cercando di elaborare un
approccio nazionale a questi problemi e anche di identificare soluzioni concrete. Ad esempio, la strategia
nazionale francese sull'intelligenza artificiale richiede il finanziamento del lavoro di ricerca e sviluppo che
renderebbe i sistemi di apprendimento automatico più spiegabili al fine di renderli più socialmente accettabili. 55
Supporta inoltre l'inclusione dell'etica nella formazione di ingegneri e ricercatori di intelligenza artificiale e
l'attuazione di valutazioni dell'impatto sociale su nuovi sistemi di apprendimento automatico.
Finora, la maggior parte di questi sforzi è stata collegata allo sviluppo civile della tecnologia AI. Il dibattito su
quali dovrebbero essere le norme ei principi per lo sviluppo responsabile dei sistemi di IA nella sfera militare
ha preso slancio ma è stato limitato dal quadro del dibattito CCW in corso sulle LEGGI, che, ovviamente, si
concentra sulle armi convenzionali. Il resto di questo volume apre quella conversazione al campo delle armi
nucleari e delle dottrine. I saggi che seguono intendono gettare le basi per una conversazione costruttiva sulle
possibilità e le sfide che l'attuale rinascita dell'IA porterà nel regno delle armi e delle dottrine nucleari e per
aiutare a identificare possibili norme e principi per lo sviluppo responsabile dei sistemi di IA in quel contesto.

1. Pearl, A., "Homage to John McCarthy, the father of artificial intelligence (AI)", Artificial Solutions, 2 giugno 2017.
2. Dale, R., "Un'introduzione all'intelligenza artificiale", ed. A. M. Din, SIPRI, Arms and Artificial Intelligence: Weapons and
Arms Control Applications of Advanced Computing (Oxford University Press: Oxford, 1987), p. 33.
3. Madhavan, R., "Comprensione dell'impatto sociale delle tecnologie autonome", IEEE Future Directions, novembre 2016.
4. Pronto, C., "Kurzweil afferma che la singolarità avverrà entro il 2045", Futurismo, 5 ottobre 2017.
5. Gruppo internazionale sulla regolamentazione delle armi autonome (IPRAW), Focus sui metodi computazionali nel contesto
delle LEGGI, Rapporto "Focus on" n. 2 (Istituto tedesco per gli affari internazionali e la sicurezza: Berlino, novembre 2017).
6. Dale (nota 2); Russel, S. e Norvig, P., Artificial Intelligence: A Modern Approach, 3a edizione (Pearson Education: Harlow,
2014); Kit, P., "Cosa dovremmo imparare dalle previsioni di AI passate?", Open Philanthropy Project, maggio 2016; e
Armstrong, S. e Sotala, K., "How are predicing AI — or failing to", eds J. Romportl et al., Beyond AI: Artificial Dreams,
Proceedings of the International Conference 'Beyond AI 2012', Pilsen , Cechia, 5–6 novembre 2012 (University of West
Bohemia: Pilsen, 2012), pp. 52-75.
7. Sui cicli di hype vedi Gartner, "Gartner hype cycle", [n.d.]; e Kit (nota 6).
8. Knight, W., "There is a big problem with AI", MIT Technology Review, 11 aprile 2017.
9. Questa definizione si basa su quella proposta in precedenza da Andrew Williams. Williams, A., 'Definire l'autonomia nei
sistemi: sfide e soluzioni', eds AP Williams e PD Scharre, Autonomous Systems: Issues for Defense Policymakers (NATO
Headquarters Supreme Allied Commander Transformation: Norfolk, VA, 2015), pp. 27-62 .
10. Per maggiori dettagli vedere Boulanin, V. e Verbruggen, M., Mapping the Development of Autonomy in Weapon Systems
(SIPRI: Stockholm, Nov. 2017).
11. Knight (nota 8).
12. Kester, L., "Mapping autonomia", Presentazione al CCW Informal Meeting of Experts on Lethal Autonomous Weapon
Systems, Ginevra, 11-15 aprile 2016.
13. Knight (nota 8).
14. Boulanin e Verbruggen (nota 10).
15. Hinton, G. E., Osindero, S. e Teh, Y., "Un algoritmo di apprendimento rapido per reti di credenze profonde", Neural
Computation, vol. 18, no. 7 (luglio 2006), pp. 1527–54. Vedi anche Kurenkov, A., "A" brief "history of neural nets and deep
learning, part 4", Medium, 17 febbraio 2017.
16. Allen, K., "How a Toronto professor's research revolutionalized artificial intelligence", Toronto Star, 17 aprile 2015.
17. Somers, J., "L'IA sta cavalcando un pony unico", MIT Technology Review, 29 settembre 2017.
18. Gershgorn, D., "I dati che hanno trasformato la ricerca sull'IA e le possibilità del mondo", Quartz, 26 luglio 2017.
19. Ad esempio Shu, C., "Google acquisisce la startup AI DeepMind per oltre $ 500 milioni", TechCrunch, 26 gennaio 2014.
20. Malingo, T., "The misguided rush of the accademica AI brain drain", New Stack, 23 agosto 2018.
21. Agenzia statunitense per il progetto di ricerca avanzata per la difesa (DARPA), "DARPA annuncia una campagna da 2
miliardi di dollari per sviluppare la prossima ondata di tecnologie di intelligenza artificiale", 7 settembre 2018.
22. Questi 17 paesi sono Canada (marzo 2017), Giappone (marzo 2017), Singapore (maggio 2017), Cina (luglio 2017),
Emirati Arabi Uniti (ottobre 2017), Finlandia (dicembre 2017), Danimarca (Gennaio 2018), Italia (marzo 2018), Francia (marzo
2018), Regno Unito (aprile 2018), Corea del Sud (maggio 2018); Svezia (maggio 2018), India (giugno 2018), Messico (giugno
2018), Germania (novembre 2018), Unione europea (dicembre 2018) e Stati Uniti (febbraio 2019). Dutton, T., "An overview of
national AI strategy", Medium, 18 giugno 2018.
23. Come identificato da Scharre, P. e Horowitz, M. C., Artificial Intelligence: What Every Policymaker Needs to Know (Center
for New American Security: Washington DC, giugno 2018), p. 10.
24. Gershgorn, D., "Guarda la differenza che fa un anno nella ricerca sull'intelligenza artificiale", Popular Science, 31 maggio
2016.
25. Marr, B., "The amazing way Google use deep learning AI", Forbes, 8 agosto 2017.
26. Uno di questi sistemi, il Project Maven degli USA, è discusso nei capitoli 5, 6, 10 e 11 di questo volume.
27. Polyakov, A., "Machine learning for cybersecurity 101", Towards Data Science, 4 ottobre 2018.
28. Hüttenrauch, M., "Apprendimento di rinforzo profondo guidato per sciami di robot", tesi di master, Technische Universität
Darmstadt, agosto 2016.
29. Condliffe, J., "Dueling neural networks: giocando al gatto e al topo con i dati, una coppia di sistemi di intelligenza artificiale
può acquisire un'immaginazione", MIT Technology Review, vol. 121, n. 2 (marzo / aprile 2018).
30. Gershgorn (nota 18); e Hao, K., "Abbiamo analizzato 16.225 documenti per capire dove andrà a finire l'IA", MIT
Technology Review, 25 gennaio 2019.
31. Knight, W. e Hao, K., "Non importa i robot assassini: ecco sei veri pericoli dell'IA a cui prestare attenzione nel 2019", MIT
Technology Review, 7 gennaio 2019; e Hao, K., "Questo è il modo in cui si verificano davvero i pregiudizi dell'IA e perché è
così difficile da risolvere", MIT Technology Review, 4 febbraio 2019.
32. Lohr, S., "Il riconoscimento facciale è accurato, se sei un ragazzo bianco", New York Times, 9 febbraio 2018.
33. Vedi ad es. Buranyi, S., "Rise of the racist robots — how AI is learning all our peggiori impulsi", The Guardian, 8 agosto
2017; Hao, K., "La polizia negli Stati Uniti sta addestrando IA per la previsione della criminalità su dati falsificati", MIT
Technology Review, 13 febbraio 2019; e Hao, K., "L'intelligenza artificiale sta mandando le persone in prigione e sbagliano",
MIT Technology Review, 21 gennaio 2019.
34. Knight, W., "The dark secret at the hear of AI", MIT Technology Review, 11 aprile 2017.
35. Righetti, L., "Tecnologia emergente e futuri sistemi autonomi", Comitato internazionale della Croce Rossa (CICR), Sistemi
d'arma autonomi: implicazioni dell'aumento dell'autonomia nelle funzioni critiche delle armi, riunione di esperti, Versoix,
Svizzera, 15– 16 marzo 2016 (CICR: Ginevra, agosto 2016), pagg. 36–39.
36. Tobey, D., "Explainability: where AI and liability meet", DLA Piper, 25 febbraio 2019.
37. Szegedy, C. et al., "Proprietà intriganti delle reti neurali", arXiv, 1312.6199, versione 4, 19 febbraio 2014.
38. Nguyen, A., Yosinski, J. e Clune J., "Le reti neurali profonde sono facilmente ingannabili: previsioni ad alta affidabilità per
immagini irriconoscibili", 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR 2015), Proceedings, 7–
12 giugno 2015 (Institute of Electrical and Electronics Engineers (IEEE): Piscataway, NJ, 2015), pagg. 427-36.
39. Hao, K., "Un giorno la tua voce controllerà tutti i tuoi gadget e loro ti controlleranno", MIT Technology Review, 11 gennaio
2019; "Arma autonoma e nuove leggi di guerra", The Economist, 17 gennaio 2019; e Salesky, B., "A decade after DARPA: our
view on the state of the art in self-driving cars", Medium, 16 ottobre 2017.
40. Williams (nota 9), pagg. 55–56.
41. Come identificato da Scharre, P., "L'opportunità e la sfida dei sistemi autonomi", eds Williams e Scharre (nota 9), pagg. 3-
26. Vedi anche Thrun, S., "Verso un quadro per l'interazione uomo-robot", Interazione uomo-computer, vol. 19, nn. 1–2
(giugno 2004), pagg. 9–24; e Boulanin e Verbruggen (nota 10).
42. Questa sezione è basata su Boulanin e Verbruggen (nota 10), pp. 61–82.
43. Dipartimento della difesa degli Stati Uniti (DOD), Defense Science Board, The Role of Autonomy in DoD Systems, Task
Force Report (DOD: Washington, DC, luglio 2012); e Scharre, P., Robotics on the Battlefield, parte II, The Coming Swarm
(Center for New American Security: Washington, DC, ottobre 2014).
44. eds Williams e Scharre (nota 9).
45. Cath, C. et al., "Governare l'intelligenza artificiale: opportunità e sfide etiche, legali e tecniche", Philosophical Transactions
of the Royal Society A, vol. 376, n. 2133 (novembre 2018).
46. Boulanin, V., "Mappare il dibattito sulle LEGGI alla CCW: fare il punto e andare avanti", documento di non proliferazione
dell'UE n. 49, EU Non-proliferation Consortium, marzo 2016; Convenzione sui divieti o limitazioni all'uso di alcune armi
convenzionali che possono essere considerate eccessivamente dannose o aventi effetti indiscriminati (Convenzione CCW),
aperta alla firma il 10 aprile 1981, entrata in vigore il 2 dicembre 1983; e Bhuyian, J., "Le auto semiautonome di Uber hanno
rilevato il pedone sei secondi prima dell'incidente mortale, afferma un'agenzia federale", Recode, 25 maggio 2018.
47. Docherty, B., Mind the Gap: The Lack of Accountability for Killer Robots (Human Rights Watch: New York, 2015).
48. Versprille, A., "L'esercito sta ancora determinando il miglior uso per i veicoli senza conducente", Difesa nazionale, giugno
2015; ed Endsley, M. R., Autonomous Horizons: System Autonomy in the Air Force — A Path to the Future, vol. 1, Human-
Autonomy Teaming (US Air Force, Office of the Chief Scientist: Washington, DC, 2015), p. 5.
49. Wright, N., "Tre sfide AI distinte per le Nazioni Unite", AI & Global Governance, United Nations University, Center for Policy
Research, 7 dicembre 2018.
50. Per una discussione dettagliata vedere Boulanin e Verbruggen (nota 10), pp. 69-73; e il capitolo 12 di questo volume.
51. Kissinger, H., "How the enlightenment end", The Atlantic, giugno 2018.
52. Vogt, H., "L'intelligenza artificiale governa più della tua vita. Who rules AI? ", Wall Street Journal, 13 marzo
2018; e Hao, K., "Perché l'intelligenza artificiale è una minaccia per la democrazia e cosa possiamo fare per
fermarla", MIT Technology Review, 26 febbraio 2019.
53. Partnership on AI, "About us", [n.d.].
54. Madhavan (nota 3); IEEE Standards Association, "The IEEE Global Initiative on Ethics of Autonomous and
Intelligent Systems", [n.d.]; e IEEE Global Initiative, Ethically Aligned Design: A Vision for Prioritizing Human
Well-being with Autonomous and Intelligent Systems, versione 2 (Institute of Electrical and Electronics
Engineers (IEEE): Piscataway, NJ, [dicembre 2017]).
55. Villani, C., Per un'intelligenza artificiale significativa: verso una strategia francese ed europea, (Conseil national du
numérique: Parigi, marzo 2018).
3. Lo stato dell'intelligenza artificiale: la prospettiva di un ingegnere sui
sistemi autonomi

Dimitri Scheftelowitsch

Negli ultimi anni, il tema dei sistemi autonomi (robotici) si è spostato da un'area di ricerca prevalentemente
accademica a una questione di interesse pubblico. I progressi nella progettazione e nello sviluppo di
architetture di calcolo ad alte prestazioni in fattori di forma compatti (in particolare le moderne unità di
elaborazione grafica) hanno consentito la progettazione e lo sviluppo di dispositivi autonomi con contesti
applicativi versatili.
Questi sono ormai andati oltre la prova di concetto e gli studi di progettazione. I think tank focalizzati sui rischi
esistenziali (ad esempio il Centro per lo studio del rischio esistenziale dell'Università di Cambridge) hanno
rivolto la loro attenzione anche ai potenziali rischi derivanti dall'uso di sistemi autonomi.
Questo saggio fornisce un'introduzione al tema dell'autonomia (sezione I) e alle sue applicazioni attuali e
potenziali (sezione II). Fornisce quindi una panoramica delle sfide tecniche e di sicurezza relative alla
progettazione e all'uso di sistemi autonomi, in particolare nel settore militare (e, in particolare, nucleare)
(sezione III).

I. Autonomia: una guida introduttiva

Per discutere questioni di autonomia, è utile definire cosa sia un sistema autonomo: è un sistema con la
capacità di osservare il suo ambiente, pianificare una sequenza di azioni basate su quelle osservazioni e su
alcune acquisite in precedenza modello del mondo, quindi eseguire la sequenza calcolata con poca o nessuna
interazione con un operatore umano. 1
Ciò implica che un sistema autonomo ha un flusso di dati in ingresso dall'apparecchiatura di rilevamento, che
viene quindi elaborato in una rappresentazione interna di un dominio del problema (chiamato stato), un
modello delle possibili conseguenze delle proprie azioni e un algoritmo di pianificazione che calcola un ordine
di azioni che soddisfa un obiettivo inizialmente dato. In quasi tutte le applicazioni, l'obiettivo deve essere dato
implicitamente o esplicitamente dal progettista o dall'operatore del sistema. L'obiettivo stesso è una funzione
che mappa lo stato osservato su un giudizio qualitativo sul fatto che lo stato corrente soddisfi una determinata
proprietà (cioè il sistema giudica se l'obiettivo è stato raggiunto) o su un valore quantitativo che riflette un
valore di utilità di uno stato ( cioè il sistema misura la quantità di energia, dati o una valuta puramente virtuale
che ha accumulato).
È importante notare che la distinzione tra autonomia e nozione simile di automazione è, nella migliore delle
ipotesi, sfocata. L'automazione è spesso definita come la capacità di un sistema di eseguire compiti semplici e
facili da definire, mentre l'autonomia implica almeno una certa capacità di osservare, pianificare e prendere
decisioni. Tuttavia, questa distinzione non è così netta come potrebbe implicare la formulazione, poiché la
classe di attività che sono "facili" da definire e automatizzare diventa più ampia (non da ultimo a causa del
progresso tecnologico).
Tuttavia, in quanto segue, questa distinzione non è cruciale.

II. Applicazioni

I dispositivi autonomi possono essere utilizzati in diversi domini attuali e futuri. Le più importanti sono,
naturalmente, le applicazioni robotiche come le guide turistiche autonome. 2
Tuttavia, ci sono anche applicazioni stazionarie non robotiche effettive e potenziali.

Applicazioni robotiche

L'aspetto meglio studiato dei dispositivi robotici autonomi sono i robot a guida autonoma. Per virtualmente tutti
gli aspetti del trasporto, esiste almeno una ricerca sulla navigazione autonoma; in alcuni casi, i sistemi sono
disponibili in commercio. Le auto a guida autonoma sono state le più importanti, almeno dalle Grandi Sfide
tenute dalla DARPA (Defense Advanced Research Projects Agency) degli Stati Uniti nel 2004-2005 e dalla sua
Urban Challenge nel 2007. 3 Tuttavia, attualmente anche i veicoli a vela, subacquei e aerei senza pilota hanno
la capacità di navigare nel rispettivo dominio, il che consente applicazioni avanzate come i robot agricoli
autonomi.4
Due ulteriori scenari in cui è possibile ottenere un'autonomia parziale o totale sono la robotica industriale in
senso lato e la robotica chirurgica. La robotica chirurgica è una specializzazione con spiccate capacità
decisionali. Un argomento di ricerca attuale è il riconoscimento accurato del tessuto da rimuovere nella
chirurgia non invasiva.5
È in fase di sviluppo anche la chirurgia robotica che richiede tagli di precisione a macchina. 6
Per la robotica industriale, le suddette applicazioni agricole integrano la robotica con la navigazione autonoma.
Nel mercato consumer, i robot personali sono una particolare applicazione della robotica nella comunicazione
uomo-robot che integra i sensori e il processo decisionale in un sistema robotico cyber-fisico per compiti di
interazione umana. L'impatto sulla società deve ancora essere completamente studiato. 7

Applicazioni stazionarie

Le applicazioni autonome descritte sopra sono sistemi cyber-fisici nel senso che implicano un robot che
interagisce con il suo ambiente.
Tuttavia, l'autonomia non implica necessariamente un sistema robotico. La delega del processo decisionale a
un computer avviene anche in applicazioni digitali non robotiche come il trading automatico e il rilevamento e
l'avviso di disastri.8
In un contesto militare, un compito simile viene svolto dalle installazioni radar di preallarme che monitorano i
missili in arrivo e inviano allarmi al personale di controllo.
Le applicazioni future includono il controllo del traffico aereo, ovvero l'instradamento autonomo del traffico
aereo e la comunicazione ai piloti, che può essere utilizzato anche nel dominio militare per l'automazione della
difesa aerea e missilistica.9

III. Sfide

Nonostante i recenti successi, la progettazione di un sistema autonomo che possa essere utilizzato nella
pratica rappresenta una notevole sfida ingegneristica, matematica e politica.
Le ragioni di ciò non risiedono necessariamente nell'autonomia decisionale in quanto tale, poiché spesso è
facile fornire un modello matematico appropriato, ma nei vari altri aspetti, non necessariamente tecnici,
dell'autonomia. Le seguenti sottosezioni identificano questioni importanti che devono essere risolte al fine di
progettare un sistema autonomo affidabile (cioè un sistema che funziona accuratamente in modo affidabile e
sicuro), nonché domande politiche a cui è necessario rispondere in fase di progettazione durante la
discussione requisiti di sicurezza, scenari di utilizzo e obiettivi del sistema.

Osservazione e interpretazione

Il compito di osservazione richiede che il sistema autonomo interpreti accuratamente i dati sensoriali al fine di
stimare lo stato attuale del mondo e la sua evoluzione.
Nelle interazioni complesse con grandi domini, come la guida autonoma, ciò potrebbe rivelarsi difficile, perché
situazioni drammaticamente diverse possono sembrare differire solo per aspetti marginali. Ad esempio, il test
di guida teorico tedesco include un'immagine di una strada residenziale con una palla sopra. La palla è una
caratteristica minore dell'immagine percepita, ma segnala al conducente che la situazione è diventata
potenzialmente pericolosa, poiché un bambino può apparire sulla strada in qualsiasi momento.

Agire in condizioni di incertezza e interferenza

La visione teorica del mondo è spesso una semplificazione della realtà fisica in termini di modelli matematici.
Anche se questo è ben noto, può rendere particolarmente difficile il problema della pianificazione. Sorgono
due problemi concreti.
Il primo problema è l'incertezza nel modello: modellando il dominio fisico in formule matematiche, l'ingegnere
deve fare affidamento su parametri stimati, che possono variare nel tempo, essere insufficientemente precisi o
fornire informazioni incomplete. Il dominio diventa così parzialmente osservabile (cioè lo stato non è
completamente visibile ai sensori del sistema) e richiede metodi diversi per affrontare il problema della
pianificazione.10

Il secondo problema deriva anche da un aspetto diverso dell'informazione incompleta: i

sistemi autonomi agiscono tipicamente in ambienti dinamici con altri agenti.

Questi altri agenti, a loro volta, possono perseguire obiettivi simili o diversi e possono cooperare o meno, il che
non è necessariamente noto in anticipo. L'esistenza di più agenti con i propri obiettivi può alterare in modo
significativo i meccanismi dell'ambiente e portare a risultati potenzialmente catastrofici. Questo scenario non è
solo ipotetico: un esempio importante sono i flash crash sui mercati di trading, dove le azioni degli algoritmi di
trading provocano un ciclo di feedback di vendita autosufficiente. 11 Più in generale, dinamiche simili possono
apparire in situazioni con diversi agenti autonomi indipendenti con obiettivi cooperativi. Questi devono essere
affrontati espandendo il modello di conseguenza, il che richiede molte più risorse di calcolo. 12

Specifica degli obiettivi

L'ultima e più importante questione proviene da un contesto non computazionale. Anche data una perfetta
osservazione, perfetta consapevolezza della situazione, perfetta modellazione e perfette capacità decisionali
computazionali, le azioni di un sistema autonomo sono definite dalla sua dichiarazione di obiettivo. Sebbene
questa sia un'osservazione banale, è necessario rendersi conto che, in primo luogo, un obiettivo deve essere
formulato in termini leggibili dalla macchina e, in secondo luogo, un sistema informatico seguirà esattamente
gli obiettivi che sono stati definiti dal suo operatore, non più e nessuno Di meno. In altre parole, l'operatore
deve essere pienamente consapevole che l'obiettivo che programma il sistema per perseguire sarà seguito e
non può essere deviato a meno che non venga modificato.

A seconda dell'obiettivo e delle capacità fornite al sistema, può seguire strategie sorprendenti (es. Cercare di
controllare tutta la potenza di calcolo disponibile per risolvere il problema del percorso più breve per
consegnare la posta) e, in generale, perseguire obiettivi strumentali inaspettati , con capacità sufficienti. 13
Anche considerando scenari che non coinvolgono la superintelligenza (il cui aspetto è ancora ipotetico),
obiettivi formulati in modo impreciso possono provocare comportamenti inaspettati come un giocatore di
computer che sfrutta un bug in un videogioco. 14

In particolare, questo comportamento si verifica in presenza di avversari con un comportamento semplice; se,
come accennato in precedenza, ci sono agenti con comportamenti complessi o obiettivi variabili, non
completamente cooperativi, allora le interazioni tra tutti gli agenti possono diventare molto complesse. In
alcuni casi, una corretta progettazione dell'ambiente (o progettazione del meccanismo, usando il termine di
economia15) può garantire che tutti gli agenti possano perseguire i propri obiettivi individuali in modo
prevedibile. Tuttavia, senza un ambiente progettato in modo esplicito, l'interazione delle diverse funzioni
obiettivo individuali deve essere studiata attentamente. Naturalmente, possono sorgere problemi simili e
devono essere studiati in applicazioni critiche per la sicurezza, dove le conseguenze di comportamenti
imprevisti sono più gravi.

La risoluzione della maggior parte dei problemi di cui sopra per i dispositivi autonomi generali richiede non
solo apparecchiature di rilevamento di alta qualità e ampie capacità di calcolo, ma anche l'applicazione della
conoscenza da due diversi domini di conoscenza: l'area di applicazione, dove funzionerà il sistema autonomo,
e le proprietà di la stima dello stato matematico e gli algoritmi di controllo. Solo quando entrambi sono noti è
possibile stimare come il sistema funzionerà nel suo ambiente abbastanza bene da fare previsioni
provatamente accurate sulla sicurezza e correttezza del suo comportamento.
Nel caso di applicazioni militari, è importante notare che, in generale, un dispositivo militare autonomo deve
agire in un ambiente contraddittorio con un obiettivo complesso e possibilmente difficile da definire, soggetto a
vincoli di sicurezza e politiche.

In un contesto critico per la sicurezza come l'uso militare, i limiti di un sistema sono rischi potenziali,
soprattutto se non sono noti in anticipo e potrebbero essere sfruttati da un avversario. Un ulteriore problema
specifico per l'uso militare è il duplice requisito di sicurezza e prevedibilità da un lato e la necessità di
sconfiggere gli avversari dall'altro, che è almeno un parziale conflitto di obiettivi. Queste questioni devono
essere affrontate a livello politico, al fine di limitare le azioni di un potenziale dispositivo autonomo mediante
una dottrina militare sufficientemente chiara e ben formulata e una chiara definizione dei potenziali casi d'uso.
Ciò implica la necessità di integrare la definizione delle politiche con la conoscenza del dominio del problema
al fine di prendere decisioni politiche informate e corrette e progettare sistemi conformi.

IV. Conclusioni

Ad oggi, i recenti progressi nell'informatica hanno reso possibile l'autonomia di diversi compiti che in
precedenza erano considerati complessi, come il controllo affidabile di un veicolo, un intervento chirurgico o il
controllo del traffico aereo.

Tuttavia, ci sono dei limiti a ciò che i computer possono ottenere. Attività più complesse richiedono più potenza
di calcolo per valutare il dominio del problema e catturare potenziali incertezze e avversari; obiettivi più
complessi con vincoli aggiuntivi possono rivelarsi intrattabili dal punto di vista computazionale; e gli ambienti
più complessi devono essere modellati con attenzione per cogliere appieno le sfumature che possono
cambiare radicalmente il processo decisionale. Ultimo ma non meno importante, la funzione obiettivo del
sistema autonomo, che controlla il suo processo decisionale, deve essere modellata attentamente con una
completa comprensione delle conseguenze della scelta di questo obiettivo esatto nell'ambiente del sistema
autonomo. Nel contesto militare, il conflitto tra sicurezza, prevedibilità, certificazione e necessità di sfidare il
potenziale avversario deve essere risolto a livello politico.

Nessuno di questi problemi è di per sé irrisolvibile, tuttavia richiedono una profonda comprensione del dominio
applicativo e delle basi matematiche degli attuali metodi di soluzione, delle loro capacità e limitazioni e di
un'integrazione del dominio e della conoscenza tecnica nella progettazione della dottrina. Soprattutto per
questi ultimi, i quadri giuridici e politici esistenti potrebbero non produrre obiettivi e vincoli che possono essere
formalizzati per dispositivi autonomi; in questo caso, la questione se l'autonomia sia politicamente desiderata
(e in caso affermativo, per quali usi) deve essere risolta prima di intraprendere qualsiasi sforzo ingegneristico.
Nel contesto più specifico del rischio nucleare e delle possibili applicazioni nucleari, le solite questioni del
processo decisionale autonomo devono essere estese dalla natura eccezionalmente critica delle infrastrutture
nucleari. Pertanto, oltre alle solite difficoltà ingegneristiche e computazionali dell'automazione, arrivano
domande politiche: fino a che punto è affidabile il processo decisionale autonomo? Ci si può fidare per
eseguire operazioni con esiti potenzialmente catastrofici? Un "divario umano" è una soluzione più sicura?
Queste domande devono essere poste e risolte per ogni potenziale caso d'uso dell'autonomia.

1. Questa definizione segue Boulanin, V. e Verbruggen, M., Mapping the Development of Autonomy in Weapon Systems
(SIPRI: Stoccolma, novembre 2017), pp. 7-12. Sulla definizione di autonomia si veda anche il capitolo 2 di questo volume.
2. Burgard, W. et al., "The interactive museum tour-guide robot", Atti della quindicesima conferenza nazionale/decima
sull'intelligenza artificiale/applicazioni innovative dell'intelligenza artificiale, AAAI '98/IAAI '98 (American Association for Artificial
Intelligence: Menlo Park, CA, 1998), pagg. 11-18.
3. Agenzia statunitense per i progetti di ricerca avanzata della difesa (DARPA), "The Grand Challenge", [n.d.].
4. Saildrone; Miller, P. A. et al., "Autonomous underwater vehicle navigation", IEEE Journal of Oceanic Engineering, vol. 35, n.
3 (luglio 2010), pagg. 663–78; e López, J. et al., "Studio comparativo di metodi di navigazione aerea autonoma orientati al
monitoraggio ambientale", eds J. C. Mendes Carvalho et al., Multibody Mechatronic Systems (Springer: Cham, 2018), pp.
305-14; e Flourish, "Flourish project", [n.d.].
5. Alpers, J. et al., "Guida alla navigazione basata su TC per l'ablazione del tumore al fegato", eds. S. Bruckner et al.,
Eurographics Workshop on Visual Computing for Biology and Medicine (Eurographics Association: Goslar, 2017).
6. Shademan, A. et al., "Chirurgia dei tessuti molli robotica autonoma supervisionato", Science Translational Medicine, vol. 8,
no. 337 (4 maggio 2016), articolo di ricerca n. 64.
7. Vedi ad es. Kory Westlund, JM et al., "Misurazione delle relazioni a lungo termine dei bambini piccoli con i robot sociali", Atti
della 17a conferenza ACM su Interaction Design and Children, IDC '18 (Association for Computing Machinery (ACM): New
York, 2018) , pagg. 207–18.
8. Huang, B. et al., "Metodi statistici e di apprendimento automatico dei sistemi di trading automatizzati e implementazione
hardware: un'indagine", Enterprise Information Systems, vol. 13, n. 1 (2019), pagg. 132–44; e Boukerche, A. e Coutinho,
RWL, 'Smart disaster detection and response system for smart cities', 2018 IEEE Symposium on Computers and
Communications, ISCC 2018 (Institute of Electrical and Electronics Engineers (IEEE): Piscataway, NJ, 2018), pp. 1102–107.
9. Mahboubi, Z. e Kochenderfer, MJ, 'Continous [sic] time autonomous air traffic control for non-towered Airport', 2015 54th
IEEE Conference on Decision and Control (CDC) (Institute of Electrical and Electronics Engineers (IEEE): Piscataway, NJ,
2015), pagg. 3433–38.
10. Kaelbling, L. P., Littman, M. L. e Cassandra, A. R., "Pianificazione e azione in domini stocastici parzialmente osservabili",
Intelligenza artificiale, vol. 101, n. 1–2 (maggio 1998), pagg. 99–134.
11. Kirilenko, A. et al., "The flash crash: high-frequency trading in an electronic market", Journal of Finance, vol. 72, n. 3
(giugno 2017), pp. 967–98.
12. Coulombe, M. J. e Lynch, J., "Cooperating in vide games? Impossibile! Indecidibilità dei giochi multiplayer a squadre ", eds
H. Ito et al., 9th International Conference on Fun with Algorithms (FUN 2018), Leibniz International Proceedings in Informatics
(LIPIcs) no. 100 (Schloss Dagstuhl – Leibniz-Zentrum für Informatik: Dagstuhl, giugno 2018), articolo n. 14.
13. Bostrom, N., Superintelligence: Paths, Dangers, Strategies (Oxford University Press: Oxford, 2014).
14. Chrabaszcz, P., Loshchilov, I. e Hutter, F., "Back to basics: benchmarking canonical evolution strategie for
playing Atari", Computing Research Repository (CoRR), arXiv, 1802.08842, 24 febbraio 2018.
15. Hurwicz, L. e Reiter, S., Designing Economic Mechanisms (Cambridge University Press: Cambridge, 2006).

4. Applicazioni militari di machine learning e sistemi autonomi

Martin Hagström

La rinascita di questo decennio nell'intelligenza artificiale (AI) ha portato a innovazioni e sviluppi rivoluzionari,
come dimostrato in diverse applicazioni, dalle auto in grado di guidare da sole ai computer in grado di giocare.
I metodi di apprendimento automatico sono stati utilizzati per risolvere problemi di vecchia data al centro di
molte di queste applicazioni. Ci si può aspettare che le tecnologie di apprendimento automatico vengano
applicate anche nello sviluppo di sistemi militari, come le armi autonome. I sistemi d'arma automatizzati
esistono da più di un secolo e ci si può aspettare che un numero crescente di funzioni in altri sistemi militari
venga automatizzato in futuro. Tuttavia, per i sistemi critici per la sicurezza come le armi, i requisiti per il
processo di sviluppo e la certificazione sono diversi da quelli per i sistemi le cui funzioni sono meno critiche se
si verifica un risultato imprevisto.
Pertanto, non è ancora chiaro quali metodi di apprendimento automatico possano essere utilizzati nelle
applicazioni militari.
Questo saggio ha descritto per la prima volta le applicazioni militari dei sistemi autonomi (sezione I). Quindi
esamina in particolare l'apprendimento automatico e le sue applicazioni militari effettive e potenziali (sezione
II).

I. Autonomia nei sistemi militari

Cos'è un sistema autonomo e come funziona?

Un sistema autonomo è un sistema che esegue un compito senza l'interferenza umana. 1 Da un punto di vista
tecnico, non c'è differenza tra sistemi automatici e autonomi; la differenza è principalmente semantica. Il
termine "autonomo" viene utilizzato per i sistemi con automazione complessa in grado di eseguire attività
complesse in un ambiente complesso. Un sistema autonomo è composto da numerosi sottosistemi (vedi
figura 4.1). La descrizione è generica e può essere applicata sia ai sistemi cyber-fisici, come i veicoli aerei
senza pilota (UAV) o alle armi, sia ai sistemi di supporto decisionale.
Per essere in grado di agire in un ambiente, il sistema deve recuperare le informazioni sulla sua posizione e
sulla sua relazione con l'ambiente circostante utilizzando sensori.
Per i veicoli aviotrasportati, i sensori misurano condizioni fisiche come pressione atmosferica, accelerazione e
campi magnetici, che vengono utilizzati per calcolare lo stato del sistema: la sua velocità, altitudine, direzione
e altre variabili che descrivono la relazione del sistema con il suo ambiente. Questi stati vengono calcolati in
base a un modello matematico del sistema e del suo ambiente. Il modello matematico è una descrizione
dell'interazione tra il sistema e il suo universo.
Figura 4.1. Una descrizione schematica di un generico sistema autonomo

Nota: il sistema dispone di un modello matematico dell'ambiente, che descrive le interazioni del sistema con l'ambiente
circostante.

Per i veicoli aviotrasportati, descrive le forze risultanti sul veicolo dall'aria circostante, dalla propulsione e dalla
gravità. Il modello include tipicamente una descrizione della relazione geografica con la Terra e gli stati di
navigazione, che può essere calcolata utilizzando i segnali di navigazione satellitare.
Un sistema “autonomo” ha sempre un modello del suo universo, o spazio di progettazione, che è il modello
matematico che descrive la relazione del sistema con il suo ambiente, come interpretato dai segnali dei
sensori. Un sistema è destinato ad agire solo all'interno del suo spazio di progettazione; il suo comportamento
al di fuori del suo spazio di progettazione è imprevedibile, poiché non ha una descrizione di questo mondo.

Autonomia nei sistemi d'arma oggi

La tecnologia di automazione si sta sviluppando rapidamente e viene implementata in un numero crescente di

applicazioni, ma non è nuova.
L'automazione del controllo dei veicoli è stata studiata e sviluppata dagli ingegneri per quasi un secolo. I primi
velivoli autonomi furono sviluppati durante la prima guerra mondiale e le navi da guerra furono ridisegnate con
automazione per scopi di controllo remoto negli anni '30. 2 Oggi un aereo può volare autonomamente dal
decollo all'atterraggio. Le auto a guida autonoma sono in fase di sviluppo da oltre 20 anni.
Già nel 1998 un'auto a guida autonoma ha dimostrato la guida autonoma lungo le autostrade italiane. 3 Le auto
a guida autonoma all'avanguardia possono viaggiare in modo autonomo in ambienti strutturati (ma la guida
autonoma in un ambiente misto con altri utenti della strada è ancora un'area di ricerca).
A seconda della definizione utilizzata, esistono da 70 anni anche sistemi d'arma autonomi. Razzi guidati e
missili da crociera furono sviluppati durante la seconda guerra mondiale. 4 Oggi è in uso un'ampia gamma di
armi che utilizzano l'automazione per identificare, tracciare, selezionare e ingaggiare bersagli, dal sistema di
difesa aerea ravvicinata Phalanx al sistema avanzato di difesa aerea a lungo raggio. missili da crociera.

Anche se l'automazione in questi sistemi è avanzata, sono tipicamente progettati per uno scopo specifico
all'interno di uno spazio di progettazione limitato e per un ambito di utilizzo limitato. Il sistema Phalanx è
autonomo nel senso che include un radar per il tracciamento del bersaglio e un computer per calcolare la
posizione del bersaglio e per mirare e sparare con la pistola. 5 Il sistema è posizionato nel sito che dovrebbe
proteggere ed è destinato ad essere utilizzato in modalità automatica. La modalità automatica è necessaria
quando le minacce in arrivo arrivano ad alta velocità e il controllo manuale non è fattibile. Per utilizzare un tale
sistema in sicurezza è necessario che l'ambiente circostante sia libero da oggetti o veicoli che potrebbero
essere scambiati per obiettivi nemici; ci sono quindi processi elaborati da seguire per garantire che nessun
danno involontario sia causato prima di accendere il sistema.

Il controllo umano viene esercitato seguendo le procedure prima di utilizzare il sistema per garantire un uso
sicuro. Il controllo umano e il rispetto del diritto internazionale umanitario sono assicurati dall'analisi pre-uso,
dall'uso dipendente dal contesto e dal rispetto di protocolli rigorosi. 6 Un sistema con funzionalità simili ma su
scala più ampia è il sistema di difesa contro i missili balistici Aegis. 7

Ostacoli tecnici e operativi all'autonomia avanzata nei sistemi militari

Diversi stati, con gli Stati Uniti in testa, hanno identificato una maggiore automazione come una chiave per le
future capacità militari.8 Si può quindi prevedere che grandi sforzi saranno diretti alla ricerca e allo sviluppo
dell'automazione nelle applicazioni militari, inclusi i sistemi d'arma. Sebbene l'automazione sia stata utilizzata
nei sistemi d'arma per un secolo, rimangono molte sfide per l'applicazione generica e ad ampio raggio
dell'autonomia.
In un conflitto armato la decisione di un comandante di usare la forza deve seguire i principi di base del diritto
internazionale umanitario.9 Per essere in grado di usare la forza in modo discriminante e con le necessarie
precauzioni, il comportamento e gli effetti delle armi devono essere prevedibili. Un comandante deve
comprendere gli effetti di un'arma ed essere in grado di prevedere come si comporterà l'arma una volta
lanciata.
Pertanto, da un punto di vista operativo, la sfida più notevole della crescente autonomia delle armi è la
necessità di prevedibilità e di comprendere il comportamento del sistema.

Sebbene i sistemi autonomi dovrebbero essere indipendenti dagli esseri umani (che è ciò che li definisce
autonomi), c'è sempre un'interfaccia tra esseri umani e sistemi a un certo livello. Il modo in cui questa
interfaccia dovrebbe essere progettata è un campo di ricerca distinto, che copre l'interazione tra gli operatori e
il sistema, nonché tra la struttura di comando e l'organizzazione e il sistema. 10
Il comportamento di un sistema con molte funzioni automatizzate può essere difficile da comprendere e quindi
il controllo del sistema potrebbe fallire, anche se esercitato dall'uomo. Ci sono esempi in cui le modalità
automatizzate dei sistemi hanno causato incidenti mortali. 11 Progettare sistemi comprensibili e, dal punto di
vista del comandante, prevedibili sarà una sfida quando si introduce un'automazione più complessa (ad
esempio utilizzando metodi di apprendimento automatico).

Un'altra sfida dell'automazione è che qualsiasi sistema autonomo può essere vulnerabile alle contromisure di
un avversario. Sebbene sia obbligatorio che un sistema d'arma sia prevedibile per l'utente, un avversario
potrebbe essere in grado di ingannare un sistema che ha un comportamento prevedibile. Per lo stesso motivo
per cui potrebbe essere difficile dimostrare la prevedibilità di un sistema complesso, sarà difficile garantire che
un'arma con comportamento automatizzato non abbia vulnerabilità a causa di un comportamento prevedibile,
vulnerabilità che possono essere sfruttate da un antagonista.

II. Applicazioni militari dell'apprendimento automatico

Cos'è l'apprendimento automatico e come funziona?

L'apprendimento automatico, un nome collettivo spesso utilizzato per metodi statistici di identificazione delle
strutture nei dati, ha molte applicazioni militari diverse. Questi metodi sono stati utilizzati con grande successo
per risolvere problemi in diversi campi dell'IA. Due problemi in cui tali metodi sono stati notoriamente applicati
per risolvere con successo problemi di vecchia data sono il riconoscimento delle immagini e il riconoscimento
vocale.
Le tecniche di apprendimento automatico sono particolarmente adatte per applicazioni ricche di dati in cui la
modellazione esplicita del sistema è difficile. Ogni sistema necessita di un modello del suo universo, lo spazio
di progettazione del sistema, che descriva l'ambiente e le interazioni del sistema con esso. Per le applicazioni
in cui lo spazio di progettazione è ben compreso e che ha una descrizione matematica, come la descrizione
delle forze aerodinamiche su un aereo, le tecniche di apprendimento automatico si sono dimostrate meno utili
della modellazione esplicita (ad es. Con equazioni che mettono in relazione azioni e reazioni tra il sistema e
l'ambiente). Nelle applicazioni in cui non esiste un modello così conciso, ma solo un ampio set di dati che
descrive implicitamente il carattere dell'universo del sistema, le tecniche di apprendimento automatico sono
adatte per derivare un modello di sistema. Un esempio di tale applicazione, in cui i metodi di apprendimento
automatico sono comunemente applicati nei progetti di ricerca e sviluppo, è il riconoscimento del target, che è,
in generale, un problema di riconoscimento delle immagini. 12
Altre applicazioni in cui i metodi di apprendimento automatico sono adatti e utilizzati includono quanto segue.

1. Rilevamento delle anomalie. I metodi di apprendimento automatico possono essere utilizzati per il
riconoscimento dei modelli. I metodi possono essere utilizzati per identificare modelli di "normalità" nei dati e
quindi per rilevare modelli di dati che differiscono dallo stato normale (ovvero valori anomali). 13
2. Sistemi per la gestione delle informazioni nelle applicazioni di ricognizione e sorveglianza. Gli odierni
sistemi di ricognizione e sorveglianza raccolgono enormi quantità di informazioni. Un UAV dotato di sensori di
imaging può essere in volo per lunghi periodi, inviando continuamente un flusso di dati attraverso una rete a
un centro di analisi. Gli analisti valutano quindi i dati ed estraggono informazioni significative.
3. L'analisi dei dati può essere un'applicazione in cui i metodi di apprendimento automatico possono
rivelarsi utili.14
4. Sistemi di supporto decisionale. I sistemi di supporto decisionale vengono utilizzati in una varietà di
applicazioni diverse come i sistemi di diagnosi medica, la produzione e il marketing per aiutare gli operatori a
prendere decisioni analizzando i dati e proponendo linee di azione.
Apprendimento automatico nei sistemi d'arma

I metodi di apprendimento automatico vengono utilizzati per diverse applicazioni in molti programmi di ricerca
sulle armi. Tuttavia, esiste un divario tra strumenti sperimentali e sistemi in campo.
Prima che un'arma, o qualsiasi sistema militare, possa essere messa in campo, deve essere sottoposta a
valutazioni, test e valutazioni approfondite. Poiché le armi in generale sono destinate a causare danni,
possono naturalmente causare danni o incidenti involontari se vengono utilizzate in modo o situazione
imprevisti o non intenzionali. Pertanto, è estremamente importante essere in grado di comprendere e
prevedere come si comporterà un sistema d'arma. Ciò porta gli sviluppatori di sistemi d'arma a utilizzare
processi di sviluppo conservativi con estese procedure di test e verifica. 15
Sebbene le tecniche di apprendimento automatico si siano dimostrate utili in molte applicazioni, non sono
ancora comunemente utilizzate nei sistemi d'arma. Uno dei motivi potrebbe essere la difficoltà del processo di
verifica dei sistemi "scatola nera", che è una caratteristica dei sistemi sviluppati dal machine learning. 16

Ostacoli tecnici e operativi all'adozione dell'apprendimento automatico nei sistemi militari

Quando si introducono metodi di apprendimento automatico nello sviluppo di sistemi d'arma è possibile
prevedere sfide di natura sia tecnica che più operativa. Da un punto di vista operativo, gli effetti di un sistema
d'arma devono essere prevedibili per l'ufficiale in comando ma con un comportamento imprevedibile per
l'avversario.

Una caratteristica dei modelli creati dall'apprendimento automatico è la natura statistica di questi metodi. È
ancora un problema di ricerca aperto progettare modelli con apprendimento automatico che siano trasparenti
e il cui comportamento sia comprensibile.

I modelli tendono a diventare complessi e il metodo di progettazione implicito complica le procedure di test e
verifica. Utilizzare l'apprendimento automatico soddisfacendo i requisiti militari di prevedibilità e capacità di
comprendere il comportamento del sistema sarà una sfida.
Le sfide dal punto di vista tecnologico riguardano generalmente i requisiti dei metodi di apprendimento
automatico per grandi quantità di dati. Molte delle applicazioni in cui questi metodi sono stati utilizzati con
grande successo sono caratterizzate da un'abbondanza di dati. I dati possono essere raccolti in anticipo,
recuperati da fonti diverse (ad esempio un database con molte immagini dello stesso oggetto in circostanze
diverse o grandi set di testi in traduzioni diverse), il tutto formando una rappresentazione statistica del sistema
o dell'applicazione da modellare.

Nei casi in cui non sono presenti dati preregistrati che rappresentano l'applicazione, i dati possono anche
essere misurati in ambienti di vita reale rilevanti (ad esempio guidando manualmente un'auto) mentre i sensori
misurano e costruiscono un ampio set di dati sull'ambiente per un uso successivo con apprendimento
automatico. Per alcune applicazioni, incluso lo sviluppo di un nuovo sistema d'arma, non ci sono dati
preregistrati ed è difficile eseguire misurazioni reali. I dati possono essere prodotti dalla simulazione, ma le
simulazioni dipenderanno da un modello di simulazione ei dati prodotti saranno limitati dall'ambito di quel
modello. Pertanto, per problemi intrinsecamente sottili e in cui gli esperimenti sono poco pratici o addirittura
irrealizzabili, i metodi di apprendimento automatico potrebbero non essere una soluzione tranne quando
l'applicazione non è sensibile a questa limitazione. 17
Laddove tali metodi sono applicabili, verranno utilizzate tecniche di apprendimento automatico, ma i requisiti
per i sistemi d'arma non sono necessariamente gli stessi delle applicazioni in cui i metodi si sono dimostrati
efficaci finora. Non è quindi ovvio che verranno applicati in un'ampia gamma di sistemi militari.

III. Conclusioni

L'automazione non è un fenomeno nuovo, né in generale né nelle armi. Tuttavia, i sistemi militari devono
essere controllabili e prevedibili per l'utente e il comportamento dei sistemi altamente automatizzati può essere
difficile da comprendere. I recenti risultati nel campo dell'IA hanno attirato molta attenzione. Molte applicazioni,
compresi gli usi militari, vengono proposte utilizzando diversi metodi di intelligenza artificiale come
l'apprendimento automatico, ma non è ovvio che i metodi saranno utili in applicazioni critiche per la sicurezza
come i sistemi d'arma. I requisiti di sicurezza e prevedibilità devono essere sottolineati nelle applicazioni
militari.

1. Sulla definizione di autonomia e sistemi autonomi si veda il capitolo 2 di questo volume.

2. Werrell, K. P., The Evolution of the Cruise Missile (Air University Press: Maxwell Air Base, AL, Sep. 1985), pp. 23-24.
3. Broggi, A. et al., "I sistemi di visione e controllo del veicolo autonomo Argo", International Journal of Intelligent Control and
Systems, vol. 3, no. 4. (1999), pagg. 409–41.
4. Werrell (nota 2), p. 41.
5. Boulanin, V. e Verbruggen, M., Mapping the Development of Autonomy in Weapon Systems (SIPRI: Stoccolma, novembre
2017), p. 38.
6. Duke, D. S., Bahlis, J. e Morrissey, W. J., "Evolution of maintenance training for the Phalanx Mark 15 close-in arms system",
2008 Oxford Business & Economics Conference, 22-24 giugno 2008.
7. Sui protocolli di sicurezza e sulle procedure di controllo per l'Aegis vedere Scharre, P., Army of None: Autonomous
Weapons and the Future of War (W. W. Norton & Co .: New York, 2018).
8. Dipartimento della Difesa degli Stati Uniti (DOD), Defense Science Board, The Role of Autonomy in DoD Systems, Task
Force Report (DOD: Washington, DC, luglio 2012); Dipartimento della difesa degli Stati Uniti (DOD), Defense Science Board,
Report of the Defense Science Board Summer Study on Autonomy (DOD: Washington, DC, giugno 2016); e Kalbarczyk, M.,
"Autonomy in defence: systems, arms, decision-making", European Defense Matters, no. 14 (novembre 2017), pag. 22.
9. Ad esempio Protocollo I aggiuntivo alle Convenzioni di Ginevra del 1949 e relativo alla protezione delle
vittime di conflitti armati internazionali, aperto alla firma il 12 dicembre 1977, entrato in vigore il 7 dicembre
1978, articoli 57 e 58.
10. Dipartimento della Difesa degli Stati Uniti (DOD), Unmanned Systems Integrated Roadmap FY2017-2042
(DOD: Washington, DC, 2017).
11. Hawley, J. K., Patriot Wars: Automation and the Patriot Air and Missile Defense System (Center for New American
Security: Washington, DC, gennaio 2017).
12. Vink, J. P. e de Haan, G., "Confronto delle tecniche di apprendimento automatico per il rilevamento del
bersaglio", Revisione dell'intelligenza artificiale, vol. 43, n. 1 (gennaio 2015), pagg. 125–39.
13. Bhatnagar, R., "Apprendimento automatico e elaborazione dei big data: una prospettiva tecnologica e
revisione", eds AE Hassanien et al., The International Conference on Advanced Machine Learning
Technologies and Applications (AMLTA2018), Advances in Intelligent Systems and Computing no . 723
(Springer: Cham, 2018); e Liao, D. et al., "Anomaly detection for semiconductor tools using stacked
autoencoder learning", International Symposium on Semiconductor Manufacturing (ISSM), Tokyo, 10 dicembre
2018.
14. Kuwertz, A. et al., "Applicare il ragionamento basato sulla conoscenza per la fusione delle informazioni nell'intelligence,
nella sorveglianza e nella ricognizione", eds S. Lee, H. Ko e S. Oh, Multisensor Fusion and Integration in the Wake of Big Dati,
Deep Learning e Cyber Physical System, Dispense in Ingegneria Elettrica n. 501 (Springer: Cham, 2018), pagg. 119–39; e
Verma, K. et al., "Rilevamento e tracciamento di target nei video a infrarossi utilizzando l'analisi del dominio della frequenza e
l'apprendimento automatico per la sorveglianza", eds. D. Yafav et al., 5th IEEE Uttar Pradesh Section International
Conference on Electrical, Electronics and Computer Engineering (UPCON), Gorakhpur, India, 2-4 novembre 2018 (IEEE: New
York, 2018), pp. 154-59.
15. Defense Acquisition University (DAU), Defense Acquisition Guidebook (DAU: Fort Belvoir, giugno 2018), capitolo 8.
16. Sentient, "Understanding the" black box "of artificial intelligence", 1 settembre 2018.
17. Verma, D. et al., "Generazione e gestione di dati di addestramento per algoritmi basati su AI mirati a operazioni di
coalizione", eds MA Kolodny, DM Wiegmann e T. Pham, Ground / Air Multisensor Interoperability, Integration, and Networking
for Persistent ISR IX, 16-18 aprile 2018, Orlando, FL, Atti di SPIE n. 10635 (SPIE: Bellingham, WA, 2018).
II parte. Intelligenza artificiale e armi e dottrine nucleari: passato, presente e
futuro

In che modo i recenti progressi nell'intelligenza artificiale (AI) possono avere un impatto nel campo delle armi e
delle dottrine nucleari? I seguenti quattro saggi esaminano la misura in cui i sistemi di intelligenza artificiale
potrebbero essere - o già stati - utilizzati nei sistemi di armi nucleari. I sistemi d'arma nucleare dovrebbero
essere intesi nel senso più ampio. Includono non solo testate nucleari e sistemi di consegna, ma anche tutti i
sistemi relativi alla forza nucleare per il comando e il controllo nucleare, il preallarme e l'intelligence,
sorveglianza e ricognizione (ISR).
Nel primo saggio di questa parte (capitolo 5), John Borrie illustra come la connessione tra intelligenza
artificiale e armi e dottrine nucleari non sia nuova. Mostra che utili lezioni potrebbero essere apprese dal modo
in cui l'Unione Sovietica e gli Stati Uniti hanno utilizzato l'intelligenza artificiale e l'automazione nei loro sistemi
di armi nucleari durante la guerra fredda. Il secondo contributo del presente autore a questo volume (capitolo
6) discute quindi cosa potrebbe cambiare con l'attuale rinascita dell'IA. Esplora come i recenti progressi
nell'apprendimento automatico e nell'autonomia potrebbero - teoricamente - essere sfruttati per migliorare
l'architettura di deterrenza nucleare, dai sistemi di preallarme e comando e controllo ai sistemi di consegna di
armi nucleari e di difesa missilistica. Page Stoutland e Petr Topychkanov valutano quindi queste probabilità
rispetto alla realtà dei programmi di modernizzazione delle armi nucleari degli Stati Uniti e della Russia.
Stoutland (nel capitolo 7) esamina il ruolo che i recenti progressi nell'apprendimento automatico potrebbero
svolgere nella modernizzazione in corso degli Stati Uniti, mentre Topychkanov (nel capitolo 8) discute come la
Russia vede il ruolo dell'autonomia nei suoi attuali e futuri sistemi di armi nucleari.

Vincent Boulanin
5. Lezioni di guerra fredda per l'automazione nei sistemi d'arma
nucleare

John Borrie *

I drammatici progressi nell'intelligenza artificiale (AI) stanno avendo impatti sociali di ampio respiro. 1 In questo
contesto, vengono espresse preoccupazioni circa l'emergere di una “corsa agli armamenti dell'IA” o di una
“guerra fredda dell'IA che ci minaccia tutti”, tra Stati Uniti e Cina in particolare. 2 Cinquant'anni fa, il pioniere
della ricerca sull'IA, Marvin Minsky, descriveva l'IA come “la scienza per far fare alle macchine cose che
richiederebbero intelligenza se fatte da uomini”. 3 Nel breve termine, la realtà è ancora molto al di sotto
dell'aspirazione a macchine intelligenti. Piuttosto, i sistemi di macchine basati su algoritmi stanno diventando
di gran lunga migliori nell'ottimizzazione automatica delle loro prestazioni sulla base di varie tecniche, molte
delle quali relative al riconoscimento di modelli e alla corrispondenza dei dati. Esiste il potenziale per
migliorare la capacità dei sistemi delle macchine di svolgere varie funzioni militari critiche con un maggiore
livello di autonomia.4 Ciò ha portato esperti in forum come la Convenzione del 1980 su alcune armi
convenzionali (Convenzione CCW) a riflettere sulle implicazioni legali e morali dei sistemi di macchine che
prendono di mira o attaccano gli esseri umani senza la diretta supervisione umana. 5
Le discussioni CCW hanno riguardato principalmente i sistemi robotici nella guerra convenzionale. 6 Tuttavia,
alcuni esperti hanno espresso la preoccupazione che, se i progressi nella ricerca relativa all'IA (ad esempio
nell'apprendimento automatico) vengono applicati all'automazione e all'aumento dell'autonomia nell'allerta
precoce e nel comando e controllo nucleare, questi potrebbero aumentare il rischio che vengano utilizzate
armi nucleari , ad esempio a causa di incidenti, o hanno un impatto sulla stabilità nucleare in vari modi. 7
Eppure c'è molta incertezza su questo. L'IA è un campo in rapida evoluzione.
Sistemi più veloci e affidabili, sempre più autonomi, potrebbero, in linea di principio, ridurre il rischio dell'uso di
armi nucleari in situazioni di crisi aiutando gli esseri umani a prendere decisioni più informate.
Gli stati con armi nucleari non condividono molte informazioni sulle specifiche dei loro attuali - o pianificati -
sistemi di preallarme nucleare o di comando e controllo. A causa di questa segretezza, è difficile giudicare il
livello o la natura dell'impatto che avranno nella pratica sistemi di macchine più autonome.
Tuttavia, dalle informazioni limitate disponibili sui sistemi di preallarme nucleare e di comando e controllo
durante la guerra fredda, è possibile fornire suggerimenti ragionevoli su come l'IA potrebbe influenzarli. Di
conseguenza, questo saggio considera ciò che offrono le esperienze dell'Unione Sovietica e degli Stati Uniti
nella guerra fredda nel considerare l'impatto dell'automazione e dell'autonomia nei sistemi di armi nucleari.
Prima esamina in generale l'uso dell'automazione nel preallarme nucleare e nel comando e controllo da parte
di USA e URSS (sezione I), quindi considera il caso specifico del sistema di ritorsione automatica Dead Hand
(sezione II). Sulla base di questa evidenza storica, il saggio trae diverse conclusioni su dove l'autonomia
potrebbe prendere il preallarme nucleare contemporaneo, il comando e il controllo (sezione III). Prima di
intraprendere questo percorso, vengono affrontate alcune questioni di terminologia.

* Le opinioni espresse sono quelle dell'autore e non riflettono necessariamente le opinioni o le opinioni delle Nazioni
Unite o degli sponsor dell'UNIDIR. L'autore ringrazia il dottor Pavel Podvig, Kerstin Vignard e Ben Silverstein per il
loro feedback critico sulle bozze di questo documento. Gli errori sono propri dell'autore.
I termini automazione e autonomia sono usati consapevolmente. 8 Nella forma classica, i sistemi di macchine
automatiche sono governati da regole prescrittive che non consentono deviazioni. Sebbene anche
automatizzati, i sistemi autonomi in misura maggiore o minore operano senza l'intervento umano nel mondo
fisico o in qualche tipo di ambiente digitale o virtuale e selezionano azioni basate su un qualche tipo di
valutazione dello stato attuale dell'ambiente. 9 Le azioni dipendono da una certa capacità di percepire e quindi
di decidere quale è più appropriata, sulla base di algoritmi. 10 Durante l'era della guerra fredda, la sofisticazione
tecnologica dei sistemi di macchine era generalmente limitata rispetto ad oggi ed è difficile riconoscere una
grande autonomia nel loro funzionamento. Tuttavia, come mostrato di seguito, questi sistemi hanno avuto un
impatto sulle decisioni di comando e controllo nucleare umano in modi che sono significativi e che sono anche
rilevanti ora e in futuro poiché l'IA consente funzionalità più autonome.

Un punto di distinzione che alcuni esperti hanno fatto sui sistemi sempre più autonomi è che, in generale, i
sistemi che incorporano l'autonomia a riposo funzionano virtualmente, nel software e includono sistemi di
pianificazione e consulenza di esperti, mentre i sistemi che incorporano l'autonomia in movimento hanno una
presenza nel mondo fisico e includere robotica e veicoli autonomi'. 11 Nel controllo delle armi nucleari è il modo
in cui l'autonomia a riposo influenzerà il processo decisionale umano che è di particolare interesse qui, per le
ragioni mostrate di seguito.

Infine, sebbene questo saggio non riguardi la tecnologia AI di per sé, è necessaria una parola
sull'apprendimento automatico: questo è un approccio per aumentare l'autonomia della macchina che è
definito in modo un po 'fuorviante. I sistemi basati su algoritmi non "apprendono" in senso umano. Piuttosto, i
sistemi che utilizzano queste tecniche possono, in linea di principio se non in pratica, migliorare in modo
ricorsivo la loro capacità di completare con successo il riconoscimento di modelli o le attività di corrispondenza
sulla base di set di dati (che di solito devono essere attentamente curati dagli esseri umani prima). 12 Tali
capacità sono attraenti per gestire e dare rapidamente un senso a una grande quantità di dati sensoriali e di
altro tipo, potenzialmente anche in situazioni di crisi in cui gli esseri umani devono prendere decisioni di lancio
sotto estrema pressione temporale.
I. Uso sovietico e statunitense dell'automazione nell'allerta precoce e nel comando
e controllo nucleare

La logica per automatizzare il comando e il controllo nucleare

Durante la guerra fredda, gli Stati Uniti e l'Unione Sovietica avevano i più grandi arsenali nucleari.
Ciascuno ha sviluppato sofisticati sistemi legati alla forza nucleare per il rilevamento e l'allarme tempestivo di
un attacco nucleare da parte dell'altro, oltre a sistemi di comando e controllo per le proprie forze nucleari. 13
L'imperativo principale nell'evoluzione di questi sistemi era garantire la capacità di ritorsione nucleare in
l'evento di un attacco.

Questo imperativo si applica ancora nei sistemi russo e statunitense quasi una generazione dopo la fine della
guerra fredda, anche se il contesto strategico e tecnologico è cambiato in modo significativo. Oggi ci sono
nove stati dotati di armi nucleari. Invece di uno scontro diadico tra le due superpotenze ei loro rispettivi alleati
come nella guerra fredda, ci sono catene di escalation possibili più complesse che possono coinvolgere
diversi stati dotati di armi nucleari in varie combinazioni. 14 Inoltre, l'avvento più recente di tecnologie come
difese missilistiche, missili ipersonici, armi antisatellite lanciate in superficie (ASAT) e capacità cibernetiche
offensive ha implicazioni strategiche che, al momento, non sono chiare per la stabilità nucleare.

Tuttavia, poiché gli Stati Uniti e l'Unione Sovietica hanno dedicato la massima attenzione, la tecnologia e le
altre risorse per cercare di garantire che ciascuno potesse, se necessario, lanciare l'allarme di un attacco
nucleare dall'altro (e Russia e Stati Uniti mantengono ancora una parte del loro rispettive forze nucleari in
questo modo15), le loro esperienze sono rilevanti per le domande sui ruoli dell'automazione e dell'autonomia.
Dagli anni '50, entrambi i paesi costruirono triadi nucleari composte da bombardieri con equipaggio, missili
balistici intercontinentali terrestri (ICBM) e missili a punta nucleare lanciati dall'aria, molti dei quali erano in
grado di lanciare rapidamente. Una pianificazione, un comando e un controllo rigorosi erano vitali per questo.
Ad esempio, dal 1960 le forze strategiche statunitensi hanno operato secondo un Piano Operativo Integrato
Unico (SIOP), comprese opzioni preventive e di ritorsione per massicci attacchi nucleari su obiettivi nel blocco
Cina-Unione Sovietica. Questo di per sé richiedeva sistemi automatizzati di vario tipo, ad esempio il
rifornimento in volo per i bombardieri e il Sistema di comando e controllo strategico automatizzato (SACCS)
per assistere nella pianificazione logistica per la trasmissione degli ordini di lancio. 16

Lo sviluppo di posture di lancio su allerta sovietici e statunitensi ha sottolineato la necessità di sistemi

automatizzati e pre o semiautomatizzati per migliorare il preallarme al fine di informare tempestivamente i
responsabili delle decisioni nucleari e guadagnare tempo per lanciare le forze nucleari , se lo hanno deciso. A
tal fine, Stati Uniti e Unione Sovietica hanno sviluppato sofisticate capacità di rilevamento e allerta precoce
basate su sensori di vario tipo, come radar terrestri e satelliti di allerta precoce dedicati. Ciascuno di essi ha
inoltre costruito sistemi di comunicazione, controllo e risposta elaborati e rafforzati per integrare i dati
provenienti da varie fonti. Data l'immensa pressione di tempo richiesta per valutare se si sta verificando un
attacco nucleare, l'automazione faceva necessariamente parte di alcuni di questi sistemi al fine di garantire
che le informazioni relative all'attacco raggiungessero i responsabili delle decisioni umane.

All'inizio della guerra fredda, la minaccia dei bombardieri nucleari nemici era una delle principali
preoccupazioni di entrambe le parti. Per rilevare tali attacchi, ciascuno ha costruito una rete di sensori come,
nel caso degli Stati Uniti, la Distant Early Warning Line (DEW Line) negli anni '50. Durante questo periodo,
l'aviazione americana ha anche sperimentato un sistema di difesa aerea controllato da computer chiamato
Semi-Automatic Ground Environment (SAGE) per abbattere i bombardieri sovietici nello spazio aereo degli
Stati Uniti.17 Tuttavia, gli Stati Uniti hanno presto accantonato SAGE mentre l'URSS schierava missili balistici
intercontinentali. Questi missili viaggiano su traiettorie balistiche in gran parte al di fuori dell'atmosfera, il che li
rende difficili da abbattere.18 Inoltre, lo sviluppo di sottomarini con missili balistici a propulsione nucleare
(SSBN) su entrambi i lati ha aumentato la prospettiva di missili nucleari provenienti da direzioni inaspettate e
con origine più vicina agli obiettivi, il che si tradurrebbe in meno tempo per rispondere. Ciò ha reso necessario
lo sviluppo di sistemi radar più sofisticati e di satelliti spaziali come componenti dei sistemi di allarme rapido. 19

I limiti dell'automazione

Ci sono molte prove che suggeriscono che sia gli Stati Uniti che l'URSS hanno riconosciuto i limiti
dell'automazione nel comando e controllo nucleare, e fino agli anni '80 ognuno sembrava riluttante a cedere la
valutazione di ordine superiore o le responsabilità decisionali a sistemi automatizzati al di fuori di situazioni
specifiche come come difesa missilistica. 20 Hanno anche cercato di aumentare la ridondanza all'interno dei
loro sistemi automatizzati nel caso in cui i componenti fossero danneggiati, distrutti o comunque guasti.
Tuttavia, la maggiore complessità di questi sistemi a causa delle loro caratteristiche ridondanti aggiuntive
potrebbe anche essere una causa di guasto. 21
In effetti, i sistemi di preallarme di entrambe le parti hanno subito numerosi guasti e falsi allarmi o erano
semplicemente troppo limitati nelle loro capacità automatiche per essere completamente affidabili. 22 Un ruolo
importante degli esseri umani "nel circuito" nei sistemi di comando e controllo nucleari è stato quello di
rispondere a questi problemi non appena si presentavano. Tre esempi lo illustrano. 23

1. Nel novembre 1979 un nastro di esercitazione di guerra caricato per errore su un computer presso il
North American Aerospace Defense Command (NORAD) alimentava i dati di un attacco nucleare in
arrivo nel sistema di preallarme. Solo la capacità del NORAD di controllare in modo indipendente il
proprio sistema radar (un esempio pratico di ridondanza) ha rivelato agli operatori che si trattava di un
falso allarme. Ciò rifletteva un approccio statunitense di "doppia fenomenologia", con più forme
indipendenti di sensori tattici per il confronto. Tuttavia, questo licenziamento era costoso e non era
sempre presente nel sistema di allerta precoce sovietico. 24
2. Alle 02.26 del 3 giugno 1980, i comandanti militari statunitensi del NORAD telefonarono al
consigliere per la sicurezza nazionale del presidente degli Stati Uniti, Zbigniew Brzezinski, per
informarlo che 220 missili balistici intercontinentali erano in arrivo dall'URSS. I comandanti del
NORAD hanno richiamato pochi minuti dopo per aumentare la stima a 2200 missili nucleari.
Brzezinski si è preparato a dirlo al presidente Jimmy Carter, che avrebbe solo pochi minuti per
decidere se lanciare una rappresaglia nucleare. Poco tempo dopo Brzezinski riceve una terza
chiamata: l'attacco era un falso allarme. I tecnici del centro di comando del NORAD alla fine hanno
scoperto che l'incidente era stato causato dal guasto di un chip di computer che costava meno di 1
dollaro USA.
3. Nel settembre 1983 il sistema di allerta precoce sovietico segnalò cinque missili balistici
intercontinentali in arrivo dagli USA. L'ufficiale di guardia in servizio, il tenente colonnello Stanislav
Petrov, ha dovuto dare un senso all'avvertimento. Petrov era scettico sul fatto che si trattasse davvero
di un attacco nucleare: perché gli Stati Uniti avrebbero attaccato con solo cinque missili balistici
intercontinentali quando devono sapere che la rappresaglia nucleare sovietica sarebbe stata
massiccia? In effetti, si è scoperto che ciò che il sistema ha preso per i pennacchi dei missili era un
 riflesso delle nuvole. Sebbene il giudizio umano e la capacità di pensiero contestuale non siano affatto
infallibili, in questo caso era la chiave per valutare correttamente la minaccia.

II. Automazione e mano morta

In linea di principio, gli Stati Uniti e l'Unione Sovietica avevano sistemi di preallarme nucleare e di comando e
controllo più o meno simili, almeno in termini di obiettivi. In pratica, questi sistemi non erano esattamente
simmetrici per ragioni sia organizzative che tecniche. La tecnologia sovietica tendeva a rallentare, soprattutto
più tardi durante la guerra fredda, quando l'URSS lottava per mettere in orbita una costellazione di rilevamento
del lancio basata su satellite che fosse capace o durevole come il sistema statunitense. Né la rete di
rilevamento a terra sovietica era così estesa nella sua copertura. 25

Nella prima metà degli anni '80, in seguito all'invasione sovietica dell'Afghanistan nel 1979, gli Stati Uniti
hanno rafforzato le proprie forze militari. Il presidente degli Stati Uniti Ronald Reagan ha usato un linguaggio
bellicoso sull'URSS che costituisce un "impero del male" e ha proposto un sistema di difesa missilistica per
proteggere gli Stati Uniti dall'attacco nucleare sovietico. L'URSS temeva che, se tali difese missilistiche
fossero state realizzate, un primo attacco nucleare statunitense avrebbe potuto decapitare il comando e il
controllo nucleare sovietico, e quindi distruggere la maggior parte delle sue forze nucleari prima che potessero
essere lanciate, con le difese missilistiche statunitensi che avrebbero assorbito i resti che lo avevano fatto. 26
L'ansia tra i politici sovietici di garantire la loro capacità di ritorsione nucleare li ha portati verso un'opzione
alternativa che dipendeva da un maggiore livello di automazione: il sistema Mertvaya Ruka (Dead Hand), che
l'URSS ha portato online nel 1985. 27

Ci sono resoconti diversi sul funzionamento di Dead Hand. 28 A volte viene confuso con il sistema Perimetr
(Perimeter), un sistema automatico di razzi di segnalazione utilizzato per trasmettere messaggi radio per
lanciare missili nucleari se altri mezzi di comunicazione sono stati eliminati. Il sistema Dead Hand avrebbe
potuto utilizzare Perimetr, ma i due non sono esattamente la stessa cosa. 29

Dead Hand era una caratteristica del sistema di comando e controllo sovietico progettato per garantire la
rappresaglia nucleare in caso di attacco e, secondo alcuni resoconti, è ancora operativo in Russia oggi. 30 Il
sistema consentiva all'autorità di comando sovietica di impartire un comando preliminare alle sue forze
nucleari per consentire loro di accettare un ordine di lancio. Normalmente, l'autorità di comando genererebbe
l'effettivo ordine di lancio, che il sistema di comando e controllo eseguirà una volta soddisfatte una certa serie
di condizioni. Queste condizioni potrebbero includere dati sismici, radiazioni e pressione atmosferica che
indicano esplosioni nucleari da una rete di sensori.

Il sistema Dead Hand era anche apparentemente in grado di funzionare in una modalità semi-automatica che
non richiedeva l'ordine dall'autorità di comando per lanciare un attacco. Prima di emettere quel tipo di
comando di avvio, il sistema dovrebbe anche verificare che tutte le condizioni siano state soddisfatte. Per
prima cosa è stato generato il comando preliminare. Quindi il sistema determinerebbe se un'arma nucleare
avesse colpito l'URSS. Se sembrava di sì, il sistema avrebbe presumibilmente verificato se i collegamenti di
comunicazione con l'autorità di comando sovietica rimanessero. Se quei collegamenti fossero interrotti, il
sistema avrebbe dedotto che si era verificato un attacco nucleare. Trasferirebbe immediatamente l'autorità di
lancio a chiunque stia gestendo il sistema in quel momento nelle profondità di un bunker protetto, aggirando
molti livelli di normale autorità di comando. A quel punto, la capacità di lanciare un attacco nucleare sarebbe
ricaduta su qualunque piccolo gruppo di ufficiali fosse in servizio. Ora avrebbero l'autorità di lanciare il sistema
Perimetr per comunicare gli ordini di lancio ai silos intorno all'URSS, così come a sottomarini e bombardieri. 31

L'URSS a quanto pare credeva che il sistema avrebbe rafforzato la stabilità perché significava che i suoi
leader non avrebbero dovuto lanciarsi prematuramente sotto pressione in una situazione di crisi. Dato che
garantiva ritorsioni nucleari, potevano permettersi di accendere il sistema e aspettare. In retrospettiva, il
sistema Dead Hand assomiglia alla macchina del giorno del giudizio sovietico nel classico film del 1964 Dr.
Stranamore.32 Come nel film, l'URSS non ha parlato agli Stati Uniti del sistema, anche se avrebbe potuto
avere un effetto deterrente.33 Nel frattempo, sebbene gli Stati Uniti avessero anche un sistema di
comunicazione di razzi di emergenza simile a Perimetr, non è mai stato combinato in un sistema analogo a
Dead Hand per paura di incidenti che potrebbero portare a una catastrofe nucleare. 34
Il sistema Dead Hand era semi-automatizzato. Mentre un dito umano era alla fine sul pulsante o sulla chiave
nucleare, era il culmine di una catena di sviluppi nel comando e controllo sovietico che erano ormai “ultraveloci
e ampiamente automatizzati”. 35 Un modo di guardare ai responsabili delle decisioni umane nel sistema - gli
ufficiali di servizio - è questo

[Loro] sono solo un altro ingranaggio in un sistema automatico e irreggimentato. Se gli ufficiali di
turno vengono addestrati più e più volte per seguire la lista di controllo, e se le autorità più alte
avessero dato il permesso dall'alto, e se tutte e tre le condizioni sulla lista di controllo fossero
soddisfatte, non avrebbero fatto naturalmente come erano state addestrate fare? 36

Né questo era necessariamente peculiare dell'URSS. L'incidente del "chip del computer" del NORAD del 1980
descritto sopra mostra che negli Stati Uniti gli ufficiali di servizio militare avrebbero eseguito tutti i movimenti,
anche quando probabilmente avrebbe dovuto essere chiaro che qualcosa non andava nel sistema. Bruce
Blair, un ex ufficiale dell'aeronautica americana, ha affermato che questo rischio è ancora presente nel
comando nucleare russo e statunitense dei sistemi di controllo. 37

III. Dove potrebbe essere l'autonomia prendendo preallarme nucleare e comando

e controllo?

Aumentare la dipendenza dall'automazione per il preallarme e il rilevamento dei bersagli

Dead Hand non era un'arma autonoma, figuriamoci qualcosa di “intelligente”.

Governato da semplici condizioni if-then, era più simile a una centrale telefonica automatizzata. L'automazione
ha fatto molta strada dagli anni '80, anche perché ora è disponibile molta più potenza di elaborazione
computazionale. Sebbene questi e altri progressi possano consentire livelli più elevati di autonomia della
macchina in alcune situazioni, le macchine continuano a lottare con il pensiero contestuale. Questa rimane
una sfida spinosa per la ricerca sull'IA, figuriamoci per l'applicazione pratica. 38 Tuttavia, la realtà è che
l'automazione ha un impatto ampio e in continuo aumento su rilevamento, sorveglianza, analisi e molte altre
funzioni relative al comando e controllo nucleare, anche se la recente attenzione dell'opinione pubblica si è
concentrata sulla natura antiquata di alcune caratteristiche Sistemi di comando delle forze nucleari
statunitensi. (Ad esempio, nel 2016 è stato rivelato che SACCS, originariamente messo in campo nel 1963,
era ancora in esecuzione su floppy disk, una tecnologia degli anni '70. 39)

Sarebbe quindi sorprendente se le tecniche di apprendimento automatico non fossero già applicate a problemi
nucleari specifici associati, ad esempio, al rilevamento e all'allerta precoce e all'identificazione del bersaglio. Il
Dipartimento della Difesa degli Stati Uniti applica già tali tecniche al triage e all'elaborazione di set di dati
attraverso iniziative come il Progetto Maven, che porta l'intelligenza artificiale, in particolare le reti neurali
profonde, nella lotta contro il gruppo dello Stato islamico. 40 tecniche avanzate nel contesto nucleare, capacità
prospettiche (se non effettive) nell'apprendimento automatico e altre tecniche relative all'IA potrebbero
influenzare la capacità di ritorsione nucleare assicurata e quindi gli attuali equilibri strategici. 41
Secondo gli autori di quello studio, “il rapido progresso tecnico nell'IA e le sue numerose potenziali intersezioni
con la strategia nucleare” significa che questa sfida è acuta, elencando i progressi su capacità come l'analisi
dei dati di intelligence, sorveglianza e ricognizione (ISR), controllo autonomo piattaforme di sensori e
riconoscimento automatico dei bersagli. 42

Cambiare gli impatti sui processi decisionali umani

Il modo in cui questi sistemi, in effetti, contribuiranno a plasmare le percezioni dei responsabili delle decisioni
umane non è un problema banale. Lora Saalman dell'EastWest Institute, ad esempio, ha osservato che la
Cina si sta concentrando sull'intelligenza artificiale come tecnologia chiave e ha un punto di vista nettamente
diverso rispetto all'Occidente sui ruoli, i vantaggi e i rischi dell'apprendimento automatico per le sue forze
nucleari.43 Inoltre, ci sono i problemi delle “sorprese” e dei “pregiudizi” dell'automazione. Potrebbero verificarsi
brutte sorprese di automazione semplicemente perché gli operatori di un sistema non sono in grado di
diagnosticare e rispondere con la rapidità necessaria per evitare una deviazione non sicura dall'attività
prevista (ad esempio, avviso di missili balistici intercontinentali in entrata). 44 Il pregiudizio dell'automazione
(ovvero compiacenza o eccessivo affidamento al sistema automatizzato o autonomo) è stato una causa di
incidenti in una vasta gamma di settori, dall'aviazione ai sistemi di supporto alle decisioni cliniche utilizzati in
medicina.45

Il problema qui non è limitato alla parte macchina del sistema; è il modo in cui gli operatori umani li
interpretano e si affidano a loro. In una situazione di crisi nucleare, ci sarà tempo per controllare?
In assenza di informazioni declassificate sugli attuali sistemi di preallarme nucleare e di comando e controllo,
è difficile valutare i pro ei contro degli aspetti che abilitano l'IA di questi sistemi. Un modo per pensare ai
sistemi di comando, controllo, comunicazione e intelligence straordinariamente complessi (C3I) per le armi
nucleari è che hanno una forma a campana muta: due cerchi, collegati da una barra. Il cerchio di sinistra, o
peso, è il sistema di rilevamento e allerta precoce.

Il cerchio di destra è la risposta post-decisione. Come descritto sopra, le attività e i processi che rientrano in
ciascuno di questi circoli sono spesso altamente automatizzati. In termini di risposta, ad esempio, i missili non
possono essere richiamati una volta lanciati da silos e boccaporti di sottomarini: è già abbastanza difficile
richiamare i bombardieri con equipaggio. La barra che collega i due pesi rappresenta la valutazione e la
decisione. Fino ad ora, per quanto si sa, questo è stato un dominio del giudizio e della decisione umana. Ciò
vale anche per Dead Hand se è considerato come una sorta di sistema di pre-delega.
Una domanda importante da considerare è quale sia l'impatto di sempre dei più sofisticati sistemi basati su
algoritmi si trovano su questa barra del C3I dumb-bell. I pesi si avvicinano o si allontanano l'uno dall'altro?
Cosa succede se si arriva al punto che i due pesi si toccano; ovvero, i sistemi basati su algoritmi si estendono
fino alla fase di valutazione e decisione? Questa è una domanda importante perché numerosi esperti hanno
avvertito che è fondamentale che i sistemi di rilevamento e di allerta precoce degli attacchi nucleari siano
indipendenti da altre parti della catena di comando e controllo nucleare. Tra loro, Charles Perrow, Scott Sagan
e Paul Bracken hanno entrambi avvertito che le interazioni nascoste e gli “incidenti di sistema” possono
portare a risultati inattesi e potenzialmente catastrofici nei sistemi di comando e controllo nucleari. 46 I pesi non
dovrebbero toccare.

Poiché l'apprendimento automatico e altre tecniche di intelligenza artificiale che possono sembrare una
scatola nera agli operatori permeano la valutazione umana e il processo decisionale, la barra del manubrio
C3I si allungherà o si accorcerà? I responsabili delle decisioni umane saranno in grado di mantenere la
consapevolezza contestuale per consentire loro di prendere decisioni corrette? E poi in che misura mantenere
gli esseri umani “nel giro” è ancora una salvaguardia? Bruce Blair ha affermato del sistema di lancio del
missile balistico intercontinentale statunitense esistente che gli aviatori seduti in un bunker che seguono le
istruzioni preimpostate per il lancio se determinate condizioni sono soddisfatte fanno davvero parte di un
sistema automatizzato.47 Se un sistema abilitato all'IA non consente a un operatore una rivalutazione
significativa di una situazione, o lo scoraggia a causa di pregiudizi di automazione, potrebbe essere così grave
come il caso in cui gli esseri umani sono solo ingranaggi in un sistema in gran parte automatico e
irreggimentato come Mano morta.

IV. Conclusioni

Tre principali conclusioni possono essere tratte da questa breve selezione di esperienze di guerra
fredda sovietiche e statunitensi.

In primo luogo, sin dall'inizio dell'era nucleare, sia gli Stati Uniti che l'Unione Sovietica si sono confrontati con
la questione di quali ruoli di valutazione e decisionali fossero appropriati per la delega alle macchine e quale
fosse un livello appropriato di delegazione. La promessa di nuove tecnologie automatizzate è stata contrastata
dall'avversario (ad esempio SACCS contro missili balistici intercontinentali) o spesso non è stato possibile
raggiungere il livello di prestazioni necessario affinché i responsabili delle decisioni siano pienamente sicuri
della sua affidabilità (come mostrato dai tre esempi nella sezione I). In generale, i responsabili delle decisioni
nucleari in entrambi gli stati sembravano essere profondamente consapevoli del fatto che, quando si ha a che
fare con qualcosa di così strettamente accoppiato, complesso e potenzialmente pericoloso come il comando e
il controllo nucleare, i sistemi basati sulle macchine affrontano limiti reali che richiedono un controllo e una
supervisione umani significativi.

Tuttavia, ciò non ha impedito all'URSS di sviluppare il sistema Dead Hand, spinta dal desiderio di dare fiducia
ai suoi responsabili delle decisioni nucleari che la rappresaglia nucleare fosse assicurata durante una crisi.
In secondo luogo, se sistemi sempre più automatizzati o autonomi elevano o riducono il rischio nucleare
dipenderà da una serie di fattori. Questi fattori includono il modo in cui i progettisti di sistema implementano
funzioni autonome - esso stesso un processo intrinsecamente carico di valore e non necessariamente
completamente razionale48 - e il modo in cui sia gli operatori che i potenziali avversari comprendono le loro
capacità e limitazioni. Nel caso del sistema Dead Hand, l'avversario non sapeva nemmeno che esistesse.
Su quella specifica base, almeno, l'URSS non poteva aspettarsi che gli USA mostrassero il tipo di cautela che
l'URSS presumibilmente desiderava in termini di evitare comportamenti strategici rischiosi.

La situazione della sicurezza internazionale si è recentemente deteriorata e la rivalità strategica si è

intensificata tra diversi Stati dotati di armi nucleari. Tutti questi stati stanno modernizzando i loro sistemi
nucleari e alcuni stanno considerando ruoli aggiuntivi per le loro forze nucleari o stanno annunciando nuove
capacità. In tali circostanze, malintesi o incomprensioni potrebbero provocare falsi allarmi o crisi nucleari. È
concepibile che sistemi di supporto decisionale sempre più autonomi o abilitati dall'intelligenza artificiale che
hanno lo scopo di fornire un'immagine più chiara in tempo reale ai decisori possano avere l'effetto opposto.

Alla luce di questa possibilità, una terza conclusione è che sarebbe prudente per ogni Stato dotato di armi
nucleari assicurarsi di comprendere il ruolo dell'automazione e dell'autonomia nei sistemi di preallarme
nucleare e di comando e controllo degli altri, così come i vincoli dei propri sistemi. Gli Stati Uniti e l'Unione
Sovietica hanno dedicato molto tempo e sforzi a studiare i reciproci sistemi strategici e il comportamento
durante la guerra fredda ei loro rappresentanti militari si sono incontrati frequentemente, anche se non sempre
in modo produttivo. Poiché l'IA è integrata nei sistemi militari in generale nei prossimi anni, ogni potenza
nucleare può farlo in modi diversi, come, ad esempio, Lora Saalman ha indicato contrastando il modo in cui la
Cina e l'Occidente interpretano i concetti relativi all'IA e alla deterrenza nucleare. 49 Ciò sottolinea l'importanza
di regolari contatti militari in materia, forse in aggiunta ai contatti sul mantenimento della stabilità e sulla
pianificazione per la gestione delle crisi.

Un punto impressionante dell'ufficiale sovietico Stanislav Petrov nel 1983 era il suo sano scetticismo
sull'affidabilità della tecnologia con cui aveva a che fare.

Si può contare su questo nell'era attuale, quando livelli notevolmente elevati di affidabilità di dispositivi come
gli smartphone, assistenti virtuali in rapido miglioramento come Siri e Alexa e persino funzionalità autonome
nei veicoli - che sarebbero sembrati meravigliosi solo una generazione fa - sono dato per scontato adesso?
Alcuni esperti hanno suggerito di no. 50

Per il prossimo futuro, è difficile vedere una situazione in cui gli esseri umani deleghino esplicitamente le
decisioni di lanciare forze nucleari alle macchine, sebbene l'esperienza sovietica negli anni '80 indichi che la
possibilità di movimento in quella direzione non dovrebbe essere sottovalutata. Nonostante tutte le capacità
estese che i sistemi abilitati all'intelligenza artificiale possono offrire allerta precoce, comando e controllo
nucleare, i responsabili delle politiche nucleari e gli operatori devono tenere in primo piano la questione di ciò
che questa mano d'aiuto potrebbe portare via nel processo se lo fosse. non implementato bene e sotto un
significativo controllo umano.51
1. Cummings, M. L. et al., Artificial Intelligence and International Affairs: Disruption Anticipated (Chatham House: Londra,
giugno 2018).
2. Zwetsloot, R., Toner, H. e Ding, J., "Oltre la corsa agli armamenti dell'IA: America, Cina e i pericoli del pensiero a somma
zero", Affari esteri, 16 novembre 2018; e Thompson, N. e Bremmer, I., "La guerra fredda dell'IA che minaccia tutti noi", Wired,
23 ottobre 2018.
3. Minsky, M. (ed.), Semantic Information Processing (MIT Press: Cambridge, MA, 1968), p. v, citato in Geist, E. e Lohn, A. J.,
How Might Artificial Intelligence Infect the Risk of Nuclear War? (Rand Corporation: Santa Monica, CA, 2018), p. 9. La
descrizione di Minsky coglie un'ampia gamma di approcci, tecniche e tecnologie, quindi la sua utilità è limitata.
4. Istituto delle Nazioni Unite per la ricerca sul disarmo (UNIDIR), L'arma delle tecnologie sempre più autonome: intelligenza
artificiale - Un manuale per i delegati CCW, Risorse UNIDIR n. 8 (UNIDIR: Ginevra, 2018).
5. Convenzione sui divieti o limitazioni all'uso di alcune armi convenzionali che possono essere considerate eccessivamente
dannose o aventi effetti indiscriminati (Convenzione CCW), aperta alla firma il 10 aprile 1981, entrata in vigore il 2 dicembre
1983.
6. Boulanin, V. e Verbruggen, M., Mapping the Development of Autonomy in Weapon Systems (SIPRI: Stoccolma, novembre
2017)
7. Ad esempio Scharre, P., Army of None: Autonomous Weapons and the Future of War (W. W. Norton & Co .:
New York, 2018), pagg. 297-302.
8. Per una discussione, vedere Istituto delle Nazioni Unite per la ricerca sul disarmo (UNIDIR), The Weaponization of
Growingly Autonomous Technologies: Concerns, Characteristics and Definitional Approaches — A Primer, UNIDIR Resources
no. 6 (UNIDIR: Ginevra, 2017). Sulle definizioni di automazione e autonomia si veda anche il capitolo 2 di questo volume.
9. Istituto delle Nazioni Unite per la ricerca sul disarmo (UNIDIR), Sicurezza, rischio non intenzionale e incidenti nell'arma delle
tecnologie sempre più autonome, Risorse UNIDIR n. 5 (UNIDIR: Ginevra, 2016). L'autore attuale è l'autore principale di
questo rapporto.
10. Per una discussione vedere Boulanin e Verbruggen (nota 6), pp. 5-11. La distinzione tra automazione e autonomia è
discussa anche nei capitoli 2-4 nella parte I di questo volume.
11. US Department of Defense (DOD), Defense Science Board, Report of the Defense Science Board Summer Study on
Autonomy (DOD: Washington, DC, giugno 2016), p. 5 (enfasi nell'originale).
12. Per un manuale di base, vedere Heath, N., "Che cos'è l'apprendimento automatico? Tutto ciò che devi sapere ", ZDNet, 14
maggio 2018. Sulla definizione di apprendimento automatico, vedere il capitolo 2 di questo volume; e sullo stato dell'arte
nell'apprendimento automatico vedere il capitolo 4 in questo volume.
13. Per informazioni generali sull'evoluzione della corsa agli armamenti nucleari vedere ad es. Rhodes, R., Arsenals of Folly:
The Making of the Nuclear Arms Race (Simon & Schuster: Londra, 2008); Hoffman, D. E., The Dead Hand: The Untold Story
of the Cold War Arms Race and Its Dangerous Legacy (Anchor Books: New York, 2009); e Schlosser, E., Command and
Control (Allen Lane: London, 2013).
14. Krepon, M., "La deterrenza può mai essere stabile?", Survival, vol. 57, n. 3 (2015), pagg. 111–32.
15. Podvig, P., "Risks of nucleare command and control accidents", a cura di J. Borrie, T. Caughley e W. Wan, Understanding
Nuclear Weapon Risks (United Nations Institute for Disarmament Research: Geneva, 2017), p. 53 –59, p. 53.
16. Burr, W. (a cura di), Launch on Warning: The Development of U.S. Capabilities, 1959-1979, National Security Archive
Electronic Briefing Book no. 43 (George Washington University, National Security Archive: Washington, DC, aprile 2001).
17. Schlosser (nota 13), pagg. 152–53. I computer Whirlwind del sistema SAGE furono originariamente sviluppati dal
Massachusetts Institute of Technology (MIT) per la US Navy come simulatore di volo.
18. Carter, A. B., Steinbruner, S. D. e Zraket, C. A. (a cura di), Managing Nuclear Operations (Brookings Institution:
Washington, DC, 1987), figura 8-4, p. 298.
19. eds Carter et al. (nota 18), tabella 8-2, p. 311 e tabella 8-3, p. 313.
20. Ad esempio gli Stati Uniti avevano il sistema PARCS (Perimeter Acquisition Radar Attack Characterization System) per
aiutare a caratterizzare gli attacchi e i probabili punti di impatto delle testate nucleari. Bethmann, R. C. e Malloy, K. A.,
"Comando e controllo: un'introduzione", tesi di Master, Naval Postgraduate School, marzo 1989, p. 83.
21. Perrow, C., Normal Accidents: Living with High-Risk Technologies, 2nd edn (Princeton University Press: Princeton, NJ,
1999).
22. Sugli errori e falsi allarmi si veda Sagan, S. D., The Limits of Safety: Organizations, Accidents, and Nuclear Weapons
(Princeton University Press: Princeton, NJ, 1993); e Lewis P. et al., Too Close for Comfort: Cases of Near Nuclear Use and
Options for Policy (Chatham House: Londra, aprile 2014), p. 7. Sull'affidabilità negli USA vedere Carter et al. (nota 18).
Sull'affidabilità in URSS vedi Podvig, P (ed.), Russian Strategic Nuclear Forces (MIT Press: Cambridge, MA, 2001).
23. Questi esempi sono tratti da Lewis et al. (nota 22). Vedi anche Borrie, J., "Un limite alla sicurezza: rischio," incidenti
normali "e armi nucleari", International Law and Policy Institute - United Nations Institute for Disarmament Research Vienna
Conference Series no. 3, dicembre 2014.
24. Podvig, P., "Nessuna lacuna nella copertura di allerta precoce come tre radar per iniziare il servizio di combattimento nel
2017", 23 dicembre 2016, Forze nucleari strategiche russe.
25. Podvig, P., "History and the current status of the Russian early-warning system", Science and Global Security, vol. 10, no.
1 (2002), pagg. 21-60.
26. Thompson, N., "Inside the apocalyptic Soviet doomsday machine", Wired, 21 settembre 2009.
27. Thompson (nota 26).
28. Podvig, P., UNIDIR, Conversazione con l'autore, 27 novembre 2018.
29. Podvig (nota 22), pagg. 65-66. Una diversa interpretazione è presentata nel capitolo 8 di questo volume.
30. Thompson, N., "I sovietici hanno costruito una macchina del giorno del giudizio. Funziona ancora ", Wired, 22 settembre
2009. Vedi anche il capitolo 8 in questo volume.
31. Thompson (nota 26).
32. Il film Il dottor Stranamore include questo scambio tra il dottor Stranamore e l'ambasciatore russo: "Dottor Stranamore:
Naturalmente, l'intero punto di una macchina del giorno del giudizio è perso, se * mantieni * un * segreto *! Perché non l'hai
detto al mondo, EH? Ambasciatore de Sadesky: doveva essere annunciato lunedì al Congresso del Partito. Come sapete, il
Premier ama le sorprese. "Citato in Podvig, P.," Dr. Stranamore incontra la realtà ", Russian Strategic Nuclear Forces, 14
aprile 2006.
33. Hoffman (nota 13), p. 154.
34. Thompson (nota 26).
35. Hoffman (nota 13), p. 153.
36. Hoffman (nota 13), p. 153.
37. Blair, B. G., The Logic of Accidental Nuclear War (Brookings Institution: Washington, DC, 1993), p. 181.
38. Per una panoramica accessibile, vedere Thompson, C., "Come insegnare un po 'di buon senso all'intelligenza artificiale",
Wired, 13 novembre 2018. Sui limiti tecnici della tecnologia AI, vedere i capitoli 2-4 nella parte I di questo volume.
39. US Government Accountability Office (GAO), Information Technology: Federal Agencies Need to Address Aging Legacy
Systems, GAO-16-468 (GAO: Washington, DC, maggio 2016), p. 60.
40. Pellerin, C., "Progetto Maven per distribuire algoritmi informatici nella zona di guerra entro la fine dell'anno", Dipartimento
della Difesa degli Stati Uniti, 21 luglio 2017. Si veda anche Allen, GC, "Progetto Maven porta l'IA nella lotta contro l'ISIS",
Bollettino degli scienziati atomici, 21 dicembre 2017; e Lynch, J., "Why the Air Force sta investendo $ 100M in AI", Fifth
Domain, 6 dicembre 2018.
41. Geist e Lohn (nota 3).
42. Geist e Lohn (nota 3), pagg. 8–9.
43. Saalman, L., "Fear of false negative: AI and China’s nuclear posture", Bulletin of the Atomic Scientists, 24 aprile 2018.
44. Istituto delle Nazioni Unite per la ricerca sul disarmo (nota 9), pag. 12.
45. Cummings, M., "Distorsione di automazione in sistemi di supporto decisionale critici in termini di tempo", 1a conferenza
tecnica sui sistemi intelligenti dell'American Institute of Aeronautics and Astronautics, Chicago, IL, 20-22 settembre 2004,
pagg. 1, 5.
46. Perrow (nota 21), in particolare il capitolo 8; Sagan (nota 22); e Bracken, P., "Instabilities in the control of nucleari", ed. M.
Hellman, Breakthrough: Emerging New Thinking — Gli studiosi sovietici e occidentali lanciano una sfida per costruire un
mondo oltre la guerra (Walker e Co.: New York, 1988), pp. 21-30.
47. Blair (nota 37), p. 181.
48. Istituto delle Nazioni Unite per la ricerca sul disarmo (UNIDIR), Algorithmic Bias and the Weaponization of crescente
Autonomous Technologies — A Primer UNIDIR Resources no. 9 (UNIDIR: Ginevra, 2018).
49. Saalman (nota 43).
50. Ad esempio Hayes, P., "Nuclear command-and-control in the millennials era", Nautilus Institute for Security and
Sustainability, 17 febbraio 2015.
51. Per una discussione sul controllo umano significativo vedere Istituto delle Nazioni Unite per la ricerca sul disarmo
(UNIDIR), The Weaponization of Growingly Autonomous Technologies: Considering How meaningful Human Control Might
Move the Discussion Forward, UNIDIR Resources no. 2 (UNIDIR: Ginevra, 2014).
6. Il futuro dell'apprendimento automatico e dell'autonomia nei sistemi
d'arma nucleare

Vincent Boulanin

Il campo delle armi nucleari è rinomato per la sua conservatività. Per motivi di sicurezza e protezione, è stato
lento integrare alcuni dei principali sviluppi nella tecnologia dell'informazione e della comunicazione, poiché
potrebbero introdurre nuove vulnerabilità o ridurre l'affidabilità. Questo è particolarmente il caso del comando e
controllo nucleare, che continua a fare affidamento su una tecnologia obsoleta della guerra fredda.
L'esercito americano, ad esempio, utilizza ancora floppy disk da 8 pollici per coordinare le operazioni delle
forze nucleari.1

La Russia, gli Stati Uniti e un certo numero di altri stati dotati di armi nucleari hanno dichiarato la loro
intenzione di modernizzare i loro sistemi di comando e controllo nucleari ritirando alcuni di questi sistemi
legacy e adottando tecnologie digitali all'avanguardia. 2 Nella maggior parte dei casi casi non esiste una data di
fine associata ai piani di modernizzazione ed è difficile prevedere quando e come avverrà la transizione dalla
tecnologia dell'era della guerra fredda. Non è difficile immaginare, tuttavia, che gli stati dotati di armi nucleari
cercheranno di sfruttare l'attuale rinascita dell'intelligenza artificiale (AI). La domanda quindi è: quale potrebbe
essere l'impatto? Tuttavia, poiché l'intelligenza artificiale e l'automazione fanno parte dell'architettura della
deterrenza nucleare da decenni, i recenti progressi nell'intelligenza artificiale potrebbero non avere affatto un
impatto trasformativo.

Questo saggio esamina come i recenti progressi nell'apprendimento automatico e nell'autonomia potrebbero
essere utilizzati nei sistemi di armi nucleari e discute la misura in cui queste potenziali applicazioni potrebbero
differire dal modo in cui l'intelligenza artificiale e l'automazione sono state storicamente utilizzate. Analizza
quattro aree chiave dell'architettura della deterrenza nucleare: preallarme e intelligence, sorveglianza e
ricognizione (ISR) nella sezione I; comando e controllo nella sezione II; consegna di armi nucleari nella
sezione III; e operazioni non nucleari nella sezione IV.

I. Allerta precoce e intelligence, sorveglianza e ricognizione

L'apprendimento automatico e l'autonomia sono importanti promesse per il preallarme e l'ISR.

Il potenziale dell'apprendimento automatico è che quest'area deriva da tre abilità.

1. Rendere i sistemi di allerta precoce e ISR più capaci. L'apprendimento automatico può essere
utilizzato per fornire a qualsiasi tipo di sistema ISR una maggiore intelligenza percettiva. Uno sviluppo
prevedibile sarebbe una piattaforma ISR mobile (ad esempio un drone di sorveglianza) che potrebbe
elaborare i dati a bordo e identificare da sola non solo segnali o oggetti, ma anche situazioni di
interesse come movimenti insoliti di truppe. Un certo numero di progetti di ricerca sperimentale in
corso mirano a sviluppare questi tipi di capacità per le armi convenzionali. Un esempio notevole è il
progetto Automated Image Understanding dell'US Office of Naval Research, che ha lo scopo di
sviluppare tecniche per dedurre intenzioni e minacce dalle immagini di sorveglianza. 3
Queste capacità potrebbero essere riutilizzate per l'ISR legata al nucleare.
 2. Ricerca e comprensione di grandi set di dati di intelligence. L'apprendimento automatico può essere
utilizzato per trovare correlazioni in set di dati di intelligence ampi e potenzialmente eterogenei. Un
primo esempio è il Progetto Maven dell'esercito americano, noto anche come Algorithmic Warfare
Cross-Function Team, che mira a utilizzare l'apprendimento automatico per analizzare
automaticamente i filmati di videosorveglianza raccolti durante le operazioni di controinsurrezione in
Iraq, Afghanistan e altrove.4 Il prossimo passo per l'esercito americano è cercare correlazioni in diversi
tipi di set di dati.5
Questo tipo di capacità è attualmente perseguito principalmente per scopi di antiterrorismo, ma non è
difficile immaginare che possa essere utile anche per le missioni di preallarme e ISR legate al
nucleare, poiché consentirebbe al comandante militare di avere una migliore consapevolezza della
situazione.
3. Fare previsioni. La capacità di elaborazione dei dati può essere utilizzata per aiutare il comando
militare a prevedere gli sviluppi relativi alle armi nucleari, compresa la possibile produzione, messa in
servizio, dispiegamento e utilizzo di forze nucleari da parte degli avversari. 6 L'analisi incrociata dei dati
di intelligence utilizzando algoritmi di apprendimento automatico potrebbe aiutare i militari a
identificare più rapidamente e in modo affidabile se un attacco nucleare è o potrebbe essere in corso.

In sintesi, l'apprendimento automatico potrebbe dare al comando militare umano una migliore consapevolezza
della situazione e potenzialmente più tempo per prendere decisioni.

Il valore principale dell'autonomia e dei sistemi autonomi è che potrebbero migliorare le capacità di
telerilevamento degli stati dotati di armi nucleari, sia per le missioni di preallarme che per quelle nucleari ISR. I
principali vantaggi dei sistemi autonomi rispetto ai sistemi controllati a distanza e presidiati sono che possono
raggiungere maggiore portata, persistenza e massa: possono essere schierati in sicurezza in teatri operativi
come acque profonde o aree protette da anti-access/area-denial (A2/AD); possono condurre missioni estese
per giorni o, nel caso di sistemi subacquei, anche mesi; e possono potenzialmente essere distribuiti in gran
numero in quanto possono essere relativamente economici. 7

Questi attributi sono particolarmente attraenti nella conduzione delle operazioni ISR legate al nucleare, in
particolare nella ricognizione sottomarina. Molti tipi di piattaforma autonoma potrebbero essere utilizzati per
questo tipo di missione, comprese navi autonome (note anche come veicoli di superficie autonomi, ASV),
veicoli subacquei autonomi (AUV) e veicoli aerei autonomi (AAV). Gli Stati Uniti hanno già sviluppato un
prototipo di ASV, Sea Hunter.8 Anche Stati Uniti, Russia, Cina, Giappone e pochi altri stati stanno sviluppando
sistemi sottomarini autonomi. Sistemi come il programma US Littoral Battlespace Sensing-Gilder possono
essere prodotti a un costo relativamente basso e, quindi, implementati su vasta scala. 9 Nel caso degli AAV, i
grandi veicoli aerei senza pilota (UAV) esistenti come l'RQ-4 Global Hawk potrebbero essere utilizzati per
questo tipo di missione.10

È stata discussa la misura in cui il dispiegamento di tali sistemi cambierà la guerra sottomarina. Da un lato,
alcuni esperti ritengono che, se dispiegate in gran numero, queste piattaforme renderebbero obsoleta la
deterrenza in mare.11
D'altra parte, alcuni credono che il potenziale di questi sistemi sia sopravvalutato, dato che (a) pochi sensori
trasportati da questi sistemi sarebbero in grado di rilevare sottomarini in profondità, (b) la portata di questi
sensori è limitata e ( c) i sottomarini con missili balistici a propulsione nucleare (SSBN) che trasportano armi
nucleari operano su vaste aree, quindi la possibilità di essere rilevati è trascurabile, anche se fossero
dispiegati molti sistemi di ricognizione autonomi. 12 Prima sarebbero necessari importanti progressi nelle
tecnologie di alimentazione, comunicazione e sensori. questi sistemi possono avere un impatto rivoluzionario
sulla ricognizione sottomarina. Tuttavia, potrebbero svolgere un importante ruolo di supporto nella guerra
antisommergibile. Se schierati in punti di strozzatura o nelle vie di uscita del nemico, questi sistemi
potrebbero, ad esempio, fungere da barriera virtuale che scoraggerebbe o negherebbe ai sottomarini di un
avversario la capacità di operare in aree specifiche. 13

II. Comando e controllo

A breve termine, è improbabile che i recenti progressi nell'apprendimento automatico e nell'autonomia abbiano
un grande impatto trasformativo sui sistemi di comando e controllo nucleari.
Ci sono due ragioni per questo. In primo luogo, i sistemi di comando e controllo si basano già su un elevato
grado di automazione. In secondo luogo, i tipi di algoritmi alla base delle applicazioni guidate
dall'apprendimento automatico e dei sistemi autonomi complessi rimangono troppo imprevedibili a causa dei
problemi di trasparenza e spiegabilità. 14 non può comprendere appieno. Inoltre, algoritmi basati su regole
relativamente tradizionali sarebbero sufficienti per automatizzare ulteriormente il comando e il controllo,
tuttavia, sembra esserci un accordo generale tra gli stati dotati di armi nucleari sul fatto che ciò non dovrebbe
essere fatto, anche se gli sviluppi tecnologici lo permettessero. 15
Anche se non sono trasformativi, i progressi nell'apprendimento automatico e nei sistemi autonomi potrebbero
portare alcuni miglioramenti qualitativi nell'architettura di comando e controllo nucleare. Potrebbero essere
utilizzati per migliorare la protezione contro attacchi informatici e attacchi di disturbo. L'apprendimento
automatico potrebbe anche aiutare i pianificatori a gestire in modo più efficiente le proprie forze, comprese le
risorse umane.
Allo stesso modo, i sistemi autonomi potrebbero essere utilizzati per migliorare la resilienza dell'architettura
delle comunicazioni. Gli UAV a lunga durata potrebbero, ad esempio, essere utilizzati per sostituire i razzi di
segnalazione nel formare una rete di comunicazioni aeree alternativa in situazioni in cui la comunicazione
satellitare è impossibile.

III. Consegna di armi nucleari

È probabile che i progressi nell'apprendimento automatico e nell'autonomia abbiano un impatto sulla

consegna di armi nucleari in modi diversi.
Nel caso dell'apprendimento automatico, è probabile che l'impatto si traduca principalmente in un
miglioramento qualitativo dei sistemi di erogazione. L'apprendimento automatico potrebbe essere utilizzato per
rendere i sistemi di consegna nucleare in grado di navigare verso il loro obiettivo in modo più autonomo e
preciso (con meno dipendenza dagli esseri umani che impostano i parametri di navigazione e guida). Un certo
numero di paesi sta attualmente esplorando l'uso dell'apprendimento automatico per sviluppare sistemi di
controllo per veicoli ipersonici che, a causa della loro alta velocità, non possono essere azionati
manualmente.16 Potrebbe anche renderli più resistenti a contromisure come il jamming o lo spoofing.
Nel caso dell'autonomia, sistemi come gli UAV, e in particolare i veicoli aerei da combattimento senza pilota
(UCAV) e i veicoli sottomarini senza pilota (UUV) potrebbero avere un impatto più trasformativo rispetto
all'apprendimento automatico poiché forniscono un'alternativa ai bombardieri con equipaggio e ai sottomarini
con equipaggio come così come i missili balistici intercontinentali (ICBM). I loro vantaggi comparativi includono
la loro lunga durata e la loro recuperabilità. 17
I veicoli senza pilota, controllati a distanza o autonomi, possono condurre missioni molto più lunghe rispetto ai
loro omologhi con equipaggio. Ciò è particolarmente degno di nota per gli aeromobili senza pilota, che
possono rimanere in volo per diversi giorni, in particolare se è possibile il rifornimento in volo o l'uso di energia
solare. Il record di resistenza per un velivolo senza pilota di 26 giorni è stato stabilito da un UAV a energia
solare di Airbus nel 2018. 18 Maggiore resistenza significa anche maggiore portata: una piattaforma senza
pilota può coprire un'area molto più ampia e, nel caso di un sistema sottomarino, raggiungere una maggiore
profondità di un veicolo con equipaggio. La durata estesa delle piattaforme senza pilota aumenta
potenzialmente la loro capacità di sopravvivere alle contromisure.

Un UUV, ad esempio, raramente, se non mai, dovrebbe tornare in porto, il che renderebbe più difficile trovarlo
e rintracciarlo. Combinati, questi vantaggi potrebbero, probabilmente, diminuire la paura dei politici di una
decapitazione nucleare.19

La recuperabilità di UAV e UUV li distingue anche da missili e siluri e offre ai responsabili politici nuovi
strumenti per gestire l'escalation in caso di crisi o conflitto. La decisione di lanciare un sistema senza pilota di
pattuglia non equivale alla decisione di lanciare un dispositivo unidirezionale come un missile balistico
intercontinentale o un siluro nucleare (sebbene alcuni di questi sistemi possano essere interrotti dopo il
lancio). La recuperabilità offre ai decisori una maggiore flessibilità in quanto avrebbero più tempo per prendere
una decisione e, potenzialmente, per richiamare il sistema.

Il valore aggiunto dei sistemi autonomi risiede, in altre parole, è minore nel grado di automazione o autonomia
ma nelle proprietà fisiche delle piattaforme robotiche.

Gli ICBM e gli SLBM, una volta lanciati, operano già de facto in modo autonomo poiché si affidano
all'automazione per impostare la traiettoria di volo e navigare verso il loro obiettivo.
Sebbene l'autonomia accresca il valore strategico delle piattaforme robotiche, non è un requisito essenziale
(con la notevole eccezione dei sistemi subacquei, che non possono essere gestiti a distanza).

Almeno due stati dotati di armi nucleari stanno valutando la possibilità di utilizzare UAV o UUV per la
consegna nucleare. Nel 2015 un servizio televisivo russo ha rivelato che la Russia stava sviluppando un
grande UUV con armi nucleari, Poseidon (precedentemente noto come Status-6). 20 Il sistema, che è stato
descritto sia come un siluro a lungo raggio che come un sottomarino senza pilota, secondo quanto riferito ha
un'autonomia di 10.000 chilometri e una velocità di 56 nodi e può scendere a una profondità di 1000 metri. 21
Funzionerà in modo autonomo ma, come spiegato sopra, questo è principalmente un requisito del suo
ambiente operativo. Gli Stati Uniti stanno anche costruendo un bombardiere con capacità nucleare, il B-21
Raider, che secondo quanto riferito sarebbe "con equipaggio opzionale". 22 Gli Stati Uniti non hanno specificato
se sarebbero disposti a far funzionare il bombardiere a distanza mentre trasportavano armi nucleari, ma un
rapporto dell'Aeronautica americana del 2013 suggerisce che è improbabile: "Alcune missioni [per aerei senza
pilota], come l'attacco nucleare, potrebbero non essere fattibile dal punto di vista tecnico a meno che non
vengano sviluppate misure di salvaguardia e anche in questo caso non possano essere prese in
considerazione”.23 È quindi difficile immaginare che gli Stati Uniti stiano attualmente considerando l'uso di UAV
pilotati autonomamente per il rilascio di armi nucleari. Detto questo, la tecnologia esiste. I prototipi esistenti di
UCAV (incluso il Northrop Grumman X ‐ 47B, il Dassault nEUROn e il BAE Systems Taranis) potrebbero, in
teoria, essere usati per attacchi nucleari.
IV. Operazioni non nucleari

Gli stati dotati di armi nucleari, e anche gli stati non dotati di armi nucleari, potrebbero utilizzare
l'apprendimento automatico e l'autonomia in applicazioni non nucleari con un effetto strategico.

Difese missilistiche, aeree e spaziali

I metodi di apprendimento automatico potrebbero migliorare in modo significativo la capacità di targeting dei
sistemi difensivi convenzionali. I sistemi di difesa aerea e missilistica si affidano da decenni all'automazione. Il
primo sistema di difesa aerea automatica, il sistema di controllo del fuoco della pistola Mark 56, fu inventato
durante la seconda guerra mondiale. 24 Dagli anni '70, i sistemi di difesa aerea hanno utilizzato una tecnologia
di intelligenza artificiale nota come riconoscimento automatico dei bersagli (ATR) in grado di rilevare, tracciare,
assegnare priorità e selezionare le minacce aeree in arrivo più rapidamente e con maggiore precisione di
quanto un essere umano potrebbe fare.
Tuttavia, il progresso delle capacità di identificazione del target di questi sistemi è stato lento, in particolare a
causa delle difficoltà associate allo sviluppo delle librerie di destinazione (ovvero il database delle firme di
destinazione che un sistema ATR utilizza per riconoscere il proprio obiettivo).
Con i metodi di programmazione AI tradizionali, i progettisti di un sistema ATR devono caricare un campione
ampio e rappresentativo di dati sul target in tutte le variazioni immaginabili del suo ambiente operativo (cioè
condizioni di fondo e meteorologiche). Questo è un compito impegnativo per molti tipi di target e situazioni
operative.25 I progressi nell'apprendimento automatico, in particolare nell'apprendimento profondo e nelle reti
di antagonismo generativo (GAN), potrebbero semplificare notevolmente questo processo. 26 Con metodi di
deep learning, gli ingegneri potrebbero rendere i sistemi ATR in grado di apprendere in modo indipendente
non solo le differenze tra i tipi di target ma anche le differenze tra oggetti militari e civili (ad esempio un aereo
commerciale e un bombardiere strategico). 27 Con i GAN, gli ingegneri potrebbero generare dati sintetici
realistici su cui un sistema ATR può essere addestrato e testato in simulazione.

Un sistema ATR addestrato con queste tecniche di apprendimento automatico avrebbe prestazioni
relativamente molto migliori di un sistema ATR addestrato con metodi tradizionali.
Allo stesso modo, i sistemi autonomi offrono nuovi strumenti difensivi contro le minacce in arrivo.

I veicoli autonomi senza pilota possono essere schierati come esche o mine volanti per completare le
tradizionali difese aeree. 28 I progressi nell'autonomia per lo sciame e per il controllo multi-veicolo potrebbero
anche consentire ai sistemi autonomi senza pilota di operare in modo coordinato e condurre manovre
avanzate A2/AD.29 Tali sistemi aumenterebbero la deterrenza contro gli attacchi sia convenzionali che nucleari
poiché aumenterebbero i rischi di un attacco da parte di piattaforme con equipaggio (ad esempio aerei da
combattimento e bombardieri con equipaggio) e renderebbero più incerto il risultato di un attacco con sistemi
senza pilota (compresi i missili).
Guerra cibernetica

L'autonomia non è un nuovo sviluppo nel regno cibernetico. L'automazione è già una componente chiave di
qualsiasi architettura di difesa informatica. I programmi anti-malware sono progettati per identificare e
neutralizzare automaticamente il malware (noto).
Le armi cibernetiche generalmente devono operare in modo autonomo, cioè al di fuori della diretta
supervisione umana, almeno durante le parti chiave della loro missione. 30 Questo è stato il caso, ad esempio,
del virus Stuxnet.31 Tuttavia, i recenti progressi nell'apprendimento automatico stanno cambiando il modo in
cui funziona questa automazione o autonomia poiché cambia il modo in cui gli strumenti di guerra cibernetica
sono progettati e gestiti, sia per scopi difensivi che offensivi.

Sul lato difensivo, i metodi di apprendimento automatico hanno aperto la possibilità di individuare nuovi tipi di
malware (ovvero sconosciuti) e di rilevare attività sospette in una rete. 32 Sul versante offensivo,
l'apprendimento automatico facilita l'identificazione delle vulnerabilità zero-day nei sistemi software di un
avversario. L'apprendimento automatico in un contesto nucleare è un'arma a doppio taglio: può sia aumentare
la protezione dell'infrastruttura di comando e controllo nucleare contro gli attacchi informatici sia aumentare la
capacità del nemico di attacchi informatici contro tale infrastruttura. L'apprendimento automatico potrebbe
consentire una cosiddetta operazione a sinistra del lancio: un'operazione cyberoffensiva che sconfiggerebbe
la minaccia di un missile balistico nucleare prima che venga lanciato. 33

Guerra elettronica

L'apprendimento automatico può apportare importanti miglioramenti al campo della guerra elettronica allo
stesso modo della guerra informatica.
Sul lato difensivo, l'apprendimento automatico migliora le capacità anti-jamming in quanto apre la possibilità di
automatizzare l'analisi e la difesa contro nuovi segnali nemici. 34 Nel 2016 la US Defense Advanced Research
Projects Agency (DARPA) ha lanciato una sfida pubblica per sviluppare sistemi con la capacità di identificare e
analizzare nuovi segnali nemici al volo, cioè durante il funzionamento dei sistemi piuttosto che dopo, come è
attualmente Astuccio.35
Sul lato offensivo, l'apprendimento automatico può essere utilizzato per sviluppare nuovi strumenti di jamming
che potrebbero anche svolgere un ruolo in un'operazione a sinistra del lancio.

Sicurezza fisica

Gli stati dotati di armi nucleari potrebbero combinare i progressi dell'apprendimento automatico e
dell'autonomia per automatizzare la protezione delle loro forze nucleari dagli attacchi fisici da parte di gruppi
terroristici o forze speciali. I robot autonomi, siano essi terrestri, aerei o marittimi, addestrati mediante
apprendimento automatico sono adatti per missioni di sorveglianza noiose. L'apprendimento automatico offre
ai robot capacità di rilevamento avanzate mentre l'autonomia garantisce che possano mantenere un occhio
acuto e imperturbabile sui perimetri protetti. Questi sistemi potrebbero anche essere armati. Sono infatti già
stati sviluppati sistemi di sorveglianza automatizzata armata per la protezione delle frontiere e perimetrali. Il
sistema più discusso è l'arma robotica sentinella Super aEgis II, prodotta dalla società sudcoreana DoDaam.

Il Super aEgis II è una torretta mitragliatrice dotata di sensori e un sistema ATR in grado di rilevare, tracciare e
(potenzialmente) attaccare automaticamente bersagli: il sistema è progettato per funzionare sotto il controllo
umano, ma include una modalità "completamente autonoma". 36
È discutibile se sia operativamente appropriato e, cosa più importante, lecito usare un'arma robotica sentinella
in modalità completamente autonoma per proteggere i sistemi di armi nucleari (che si tratti di comando e
controllo o le stesse armi nucleari). Alcuni hanno sostenuto che la limitata capacità dei sistemi esistenti di
distinguere tra obiettivi civili e militari e di effettuare una valutazione di proporzionalità renderebbe illegale il
loro utilizzo in piena autonomia. 37 Altri hanno sostenuto che la legalità di tali sistemi dipende dal contesto e che
l'utilizzo dei sistemi senza un essere umano nel circuito non sarebbe problematico fintanto che è distribuito su
un perimetro in cui (a) è ragionevole presumere che ci sia nessuna presenza civile e (b) le circostanze
renderebbero l'uso della forza proporzionato. 38 È lecito ritenere che gli Stati dotati di armi nucleari potrebbero
avere prospettive diverse su tale questione.

Guerra dell'informazione

Un'ultima area in cui l'impatto dell'apprendimento automatico e, in misura minore, dell'autonomia potrebbe
avere un impatto strategico è la guerra delle informazioni. L'apprendimento automatico offre nuovi strumenti
per manipolare direttamente o indirettamente i responsabili delle decisioni nucleari.

Un esempio di utilizzo diretto potrebbe essere l'utilizzo dei GAN per creare falsi ordini realistici, in audio o
video, che inducano gli operatori di armi nucleari a lanciare un'arma nucleare o a non rispondere a un attacco.
I responsabili delle decisioni di comando e controllo superiori potrebbero anche essere indirettamente indotti a
fare o non fare qualcosa se le loro normali fonti di informazione fossero contaminate da informazioni false o
false opinioni da parte di persone che normalmente sembrerebbero sensibili. 39
Se uno stato dotato di armi nucleari decidesse di utilizzare algoritmi di apprendimento automatico per la
raccolta e l'elaborazione delle informazioni ISR, questo aprirebbe la possibilità a un avversario di utilizzare un
metodo noto come avvelenamento dei dati per minare o manipolare le prestazioni dei sistemi di allarme
preventivo.

V. Conclusioni

I progressi nell'apprendimento automatico e nell'autonomia potrebbero essere vantaggiosi per tutte le aree
chiave dell'architettura della deterrenza nucleare: preallarme e ISR; comando e controllo; consegna di armi
nucleari e operazioni di controforza non nucleare (difesa aerea, sicurezza informatica e protezione fisica delle
risorse nucleari). La natura e l'entità dell'impatto saranno diverse da un'area all'altra. In alcuni, l'adozione
dell'apprendimento automatico e dell'autonomia potrebbe essere trasformativa, ovvero può portare a notevoli
cambiamenti operativi e dottrinali; in altri settori, porterà semplicemente a importanti miglioramenti qualitativi.
Nessuna delle tecnologie presentate sopra, anche la più trasformativa, sembra aver raggiunto lo stadio in cui
potrebbe portare a una rivoluzione nella strategia nucleare. Ci sono tre motivi per questo.

Innanzitutto i problemi di sicurezza e affidabilità derivanti dall'immaturità della tecnologia. I sistemi di

apprendimento automatico e i sistemi autonomi presentano ancora numerosi limiti tecnici che rendono
rischiosa la loro adozione dal punto di vista del comando e controllo. Nel caso dell'apprendimento automatico,
la principale fonte di preoccupazione è l'incertezza circa la prevedibilità e l'affidabilità dei sistemi causata dalla
mancanza di trasparenza e spiegabilità degli algoritmi. Per i sistemi autonomi, sono la fragilità e la
vulnerabilità allo spoofing e agli attacchi informatici a destare preoccupazione. 40 Gli Stati dovrebbero risolvere i
difficili problemi di test e verifica associati alla progettazione di questi sistemi per avere la certezza che
possano essere utilizzati in sicurezza nel nucleare missioni correlate.

In secondo luogo, anche se questi problemi dovessero essere superati a breve termine, la tecnologia potrebbe
non essere ancora abbastanza avanzata da creare una situazione in cui gli stati dotati di armi nucleari
potrebbero minacciare la credibilità della sopravvivenza reciproca della capacità di secondo attacco nucleare.
Sarebbero necessari ulteriori progressi nell'intelligenza artificiale, che dovrebbero essere supportati da
importanti progressi in altre tecnologie abilitanti, in particolare le tecnologie dei sensori e di alimentazione.

In terzo luogo, le capacità offerte dall'apprendimento automatico e dai sistemi autonomi potrebbero essere
compensate o annullate da contromisure. Ad esempio, per contrastare i progressi compiuti da un avversario
nel campo dell'ISR utilizzando l'apprendimento automatico e l'autonomia, uno stato potrebbe decidere di
sfruttare a proprio vantaggio le debolezze di queste tecnologie. Nel caso del machine learning, ciò potrebbe
comportare il ricorso all'avvelenamento dei dati per ingannare il nemico mentre, nel caso dei sistemi autonomi,
potrebbe essere lo spoofing dei sensori o il blocco della rete di comunicazione.

Quindi, mentre i progressi nell'apprendimento automatico e nell'autonomia lo faranno sicuramente portare una
notevole evoluzione nella conduzione dell'impresa nucleare, non rivoluzioneranno le basi della strategia
nucleare. Detto questo, la loro adozione potrebbe ancora avere un impatto tangibile sulle relazioni strategiche
e sull'equilibrio di potere.41

1. US Government Accountability Office (GAO), Information Technology: Federal Agencies Need to Address Aging Legacy
Systems, GAO-16-468 (GAO: Washington, DC, maggio 2016), p. 60.
2. Su questi piani di ammodernamento vedere i capitoli 7 e 8 di questo volume. Sullo stato attuale dei programmi di
modernizzazione nucleare degli stati dotati di armi nucleari vedi Kile, SN et al., 'World Nuclear Forces', SIPRI Yearbook 2018:
Armaments, Disarmament and International Security (Oxford University Press: Oxford, 2018), pp. 235–87.
3. US Office of Naval Research, "Metodi computazionali per il processo decisionale - comprensione automatica delle
immagini", [n.d.].
4. Weisgerber, M., "General: Project Maven is the just the start of the military use of AI", Defense One, 28 June 2018. Il
progetto dovrebbe concludersi nel 2019. Wakabayashi, D. e Scott, S ., "Google non rinnoverà il contratto del Pentagono che
ha sconvolto i dipendenti", New York Times, 1 giugno 2018. Sul progetto Maven vedere anche i capitoli 2, 5, 6, 10 e 11 in
questo volume.
5. Dipartimento della difesa degli Stati Uniti (DOD), Defense Science Board, Report of the Defense Science Board Summer
Study on Autonomy (DOD: Washington, DC, giugno 2016).
6. Dipartimento della Difesa degli Stati Uniti (nota 5).
7. Sui vantaggi dell'autonomia vedere il capitolo 2 di questo volume; e Boulanin, V. e Verbruggen, M., Mapping the
Development of Autonomy in Weapon Systems (SIPRI: Stoccolma, novembre 2017). Sui sistemi A2 / AD vedi Simon, L.,
"Demystifying the A2 / AD buzz", War on the Rocks, 4 gennaio 2017.
8. US Defense Advanced Research Projects Agency (DARPA), "ACTUV" Sea Hunter "prototype transitions to Office of Naval
Research for further development", 30 gennaio 2018.
9. Teledyne Brown Engineering, "LBS-G: Littoral Battlespace Sensing – Gliders", aprile 2018.
10. Sul potenziale utilizzo degli UAV per missioni legate al nucleare vedere il capitolo 12 in questo volume.
11. Hambling, D., "The inevitable net: unmanned systems in anti-submarine warfare", British-American Security Information
Council (BASIC) Parliamentary Briefings on Trident Renewal no. 1, marzo 2016. Vedi anche i capitoli 9, 10 e 14 in questo
volume.
12. Gates, J., "Il deterrente SSBN è vulnerabile ai droni autonomi?", RUSI Journal, vol. 161, n. 6 (2016), pagg. 28–35.
13. Gates (nota 12).
14. Sui problemi di trasparenza, spiegabilità e prevedibilità dei sistemi di apprendimento automatico, vedere i capitoli 2 e 4 di
questo volume.
15. Sull'uso dell'automazione nel comando e controllo durante la guerra fredda, vedere i capitoli 5, 7 e 8 in questo volume.
16. Saalman, L., "L'integrazione cinese di reti neurali in veicoli di planata ipersonici", ed. ND Wright, AI, China, Russia, and the
Global Order: Technological, Political, Global, and Creative Perspectives, White Paper (US Department of Defense and Joint
Chiefs of Staff: Washington, DC, Dec. 2018), pp. 153– 60.
17. Sugli UCAV, in particolare, vedere il capitolo 12 di questo volume.
18. Airbus, "Airbus Zephyr Solar High Altitude Pseudo-Satellite vola più a lungo di qualsiasi altro aereo durante il suo primo
volo di successo", 8 agosto 2018.
19. Scharre, P., Horowitz, M. C. e Velez-Green, A., "Un futuro nucleare stabile? L'impatto dell'automazione, dell'autonomia e
dell'intelligenza artificiale ", documento di lavoro, Università della Pennsylvania, 2017.
20. Oliphant, R., "Siluro del giorno del giudizio radioattivo russo segreto trapelato in televisione", Daily Telegraph, 15
novembre 2015.
21. Insinna, V., "Il drone sottomarino nucleare della Russia è reale e nella Nuclear Posture Review", Defense News, 12
gennaio 2018. Sul sistema e sulla logica alla base del suo sviluppo, vedere il capitolo 8 di questo volume. È anche discusso
nei capitoli 9, 11 e 14 di questo volume.
22. Majumdar, D., "Il leader dell'USAF conferma la decisione con equipaggio per un nuovo bombardiere", Flight International,
23 aprile 2013. Vedi anche Gates, R., Segretario alla Difesa degli Stati Uniti, "Statement on department budget and
officiencies", US Department of Difesa, 6 gennaio 2011.
23. US Air Force, RPA Vector: Vision and Enabling Concepts, 2013-2038 (Headquarters US Air Force: Washington, DC, 17
febbraio 2014), p. 54.
24. Mindell, DA, "L'ora più bella dell'automazione: radar e integrazione di sistemi nella seconda guerra mondiale", a cura di AC
Hughes e TP Hugues, Systems, Experts and Computers: The Systems Approach in Management and Engineering, World War
II and After (MIT Press : Cambridge, MA,40 Su queste vulnerabilità vedere i capitoli 2–4 nella parte I di questo volume.
41 Sull'impatto che l'adozione di queste tecnologie potrebbe avere sulla stabilità strategica, vedere i capitoli 9-14 nella parte III
di questo volume. 2000), pagg. 27–56, pagg. 40–44.
25. Ratches, J. A., "Revisione dell'attuale tecnologia di acquisizione di bersagli assistita/automatica per attività di acquisizione
di bersagli militari", Optical Engineering, vol. 50, n. 5 (luglio 2011), articolo n. 072001.
26. Sull'apprendimento profondo e sui GAN vedere il capitolo 2 di questo volume.
27. Berlin, M. e Young, M., "Automatic target recognition systems", Technology Today, n. 1 (2018), pagg. 10-13.
28. Hipple, M., "Bring on the countermeasure drones", Atti (US Naval Institute), febbraio 2014.
29. Scharre, P., Robotics on the Battlefield, parte II, The Coming Swarm (Center for New American Security: Washington, DC,
ottobre 2014).
30. Guarino, A., 'Autonomous intelligent agents in cyber offense', eds K. Podins, J. Stinissen and M. Maybaum, 2013 5th
International Conference on Cyber Conflict, Proceedings, Tallinn, 4-7 giugno 2013 (NATO Cooperative Cyber Centro di
eccellenza per la difesa: Tallinn, 2013), pagg. 377–89.
31. Kile, S. N., "Controllo e non proliferazione delle armi nucleari", SIPRI Yearbook 2011: Armaments, Disarmament and
International Security (Oxford University Press: Oxford, 2011), pp. 363-87, pagg. 384.
32. Polyakov, A., "Machine learning for cybersecurity 101", Towards Data Science, 4 ottobre 2018.
33. Ellison, R., "Left of launch", Missile Defense Advocacy Alliance, 16 marzo 2015.
34. Freeberg, S. J., "Jammer not terminators: DARPA & the future of robotics", Breaking Defense, 2 maggio 2016.
35. Agenzia statunitense per i progetti di ricerca avanzata per la difesa (DARPA), "New DARPA Grand Challenge to focus on
spectrum collaboration", 23 marzo 2016.
36. Boulanin, V. e Verbruggen, M., Mapping the Development of Autonomy in Weapon Systems (SIPRI: Stoccolma, novembre
2017), pp. 44-46.
37. Brehm, M., Defending the Boundary: Constraints and Requirements on the Use of Autonomous Weapon Systems under
International Humanitarian Law and Human Rights Law, Academic Briefing no 9 (Geneva Academy: Geneva, May 2017).
38. Schmitt, M. N., "Sistemi d'arma autonomi e diritto umanitario internazionale: una risposta ai critici", Harvard National
Security Journal, Feature, 2013.
39. In questo scenario vedere il capitolo 13 in questo volume.
40. Su queste vulnerabilità vedere i capitoli 2–4 nella parte I di questo volume.
41. Sull'impatto che l'adozione di queste tecnologie potrebbe avere sulla stabilità strategica, vedere i capitoli 9-14 nella parte
III di questo volume.
7. Intelligenza artificiale e modernizzazione delle forze nucleari
statunitensi

Pagina O. Stoutland

Negli ultimi anni sono stati compiuti notevoli progressi nell'apprendimento automatico, un approccio
all'ingegneria dell'intelligenza artificiale (AI) che fornisce ai sistemi la capacità di apprendere e migliorare
automaticamente dall'esperienza senza essere programmati esplicitamente. 1 Questi progressi hanno
consentito miglioramenti nei veicoli autonomi, riconoscimento delle immagini traduzione automatica della
lingua, riconoscimento facciale, rilevamento di frodi online e molte altre aree. 2 Le comunità militari e di
sicurezza hanno iniziato ad abbracciare queste tecnologie, che portano promesse di maggiori prestazioni ma
creano anche nuove sfide tecniche, legali ed etiche. 3

Ad esempio, i sistemi d'arma autonomi abilitati dall'apprendimento automatico potrebbero rivelarsi più capaci
di applicazioni critiche in termini di tempo come la difesa aerea e l'apprendimento automatico potrebbe
rendere possibili nuovi concetti militarmente rilevanti come sciami di droni. Numerosi autori, tuttavia, hanno
evidenziato le implicazioni legali ed etiche dei sistemi d'arma autonomi letali (LEGGI) in cui gli esseri umani
non sono direttamente coinvolti nel prendere decisioni sull'uso della forza letale. 4 Ci sono anche sfide
tecniche: l'apprendimento automatico e, più in generale, gli approcci basati sull'intelligenza artificiale sono
attualmente fragili: esistono molteplici esempi in cui, anche senza accesso al software (i cosiddetti attacchi
black box), i sistemi possono essere falsificati, spesso con conseguenze drammatiche. 5

Riconoscendo i vantaggi, ma anche le insidie, degli attuali approcci all'apprendimento automatico, questo
saggio fornisce un quadro e alcune riflessioni iniziali sulle implicazioni dell'apprendimento automatico per le
forze armate nucleari degli Stati Uniti e l'imminente modernizzazione. Dopo una revisione degli attuali piani di
modernizzazione per le forze nucleari statunitensi (sezione I), descrive l'applicazione dell'apprendimento
automatico nelle armi nucleari e nei sistemi correlati (sezione II).

I. Forze nucleari statunitensi e modernizzazione

Le forze nucleari statunitensi attualmente comprendono tre pilastri principali (la triade): (a) armi nucleari
trasportate da missili balistici intercontinentali (ICBM), (b) missili balistici lanciati da sottomarini (SLBM) e (c)
bombe e missili consegnati da aerei. 6 Oltre alle armi e ai veicoli di consegna, le forze nucleari statunitensi fare
affidamento su sistemi di allarme rapido e un sistema di comando, controllo e comunicazione (C3). Per fornire
un'indicazione tempestiva di un attacco nucleare, l'allarme viene fornito da una combinazione di radar terrestri
e satelliti spaziali con capacità di rilevamento a infrarossi. Comando, controllo e comunicazioni robusti sono
forniti da una combinazione di risorse di comunicazione ridondanti in grado di trasmettere informazioni dai
sistemi di allerta precoce, tra i responsabili delle decisioni e gli ufficiali militari e, in ultima analisi, alle armi
stesse.

Gli Stati Uniti hanno circa 1600 armi nucleari strategiche dispiegate. 7 Gli missili balistici intercontinentali
terrestri sono tenuti in uno stato di “lancio rapido”, in grado di essere lanciati entro pochi minuti
dall'assegnazione del comando. Allo stesso modo, i sottomarini che trasportano armi nucleari sono in grado di
lanciarsi in un periodo di tempo leggermente più lungo, forse dell'ordine di 30 minuti.
Sebbene le attuali forze nucleari statunitensi abbiano assistito a un certo livello di continui aggiornamenti, le
risorse esistenti sono operative da decenni. Ad esempio, gli ICBM esistenti (Minuteman III) sono diventati
operativi per la prima volta negli anni '70 e gli SLBM (Trident II) nel 1990. In particolare, uno degli aerei per la
consegna di bombe, il B ‐ 52, è diventato operativo per la prima volta nel 1952. A causa del età della forza, è
iniziato un ampio processo di modernizzazione.
Il programma di ammodernamento complessivo comprende sistemi di consegna, testate, il complesso di
produzione e i sistemi di preallarme e comando e controllo. Ciò includerà ricostruzioni complete dei missili e
nuovi sottomarini e bombardieri. Le testate saranno rinnovate attraverso programmi di estensione della vita in
cui verranno sostituiti i componenti chiave. Il costo totale è stato stimato in oltre 1 trilione di dollari in 30 anni,
con oltre 40 miliardi di dollari da spendere solo per comando, controllo e allerta precoce. 8

II. Apprendimento automatico nelle armi nucleari e nei sistemi correlati

Mentre molti dettagli tecnici saranno determinati nei prossimi anni, la modernizzazione delle forze nucleari
statunitensi includerà senza dubbio un uso aggiuntivo di sistemi digitali, come è avvenuto per altri sistemi civili
e militari.9 Con l'espansione dell'uso dei sistemi digitali e dell'accumulo di grandi quantità di dati, aumentano
anche le potenziali applicazioni dell'apprendimento automatico.
Nei sistemi di armi nucleari, il concetto di automazione - con i sistemi autonomi che sono semplici e predittivi e
in gran parte basati su quadri logici se - allora, in contrasto con l'intelligenza artificiale o l'apprendimento
automatico - non è nuovo. 10 Ad esempio, sebbene non sia basato sulla tecnologia di apprendimento
automatico, il sistema Dead Hand dell'Unione Sovietica in cui, in determinate condizioni, i missili nucleari
verrebbero lanciati senza un essere umano nel circuito è un noto esempio di automazione delle armi
nucleari.11

Tuttavia, i funzionari statunitensi sono stati abbastanza chiari sul fatto che gli Stati Uniti non prevedono l'uso di
armi nucleari senza l'autorizzazione umana. 12

Anche se le decisioni sull'uso nucleare continuano a essere prese dal presidente degli Stati Uniti in
consultazione con altri funzionari, è probabile che l'uso dell'apprendimento automatico si espanda durante la
modernizzazione. Nel contesto dei sistemi di armi nucleari descritti nella sezione I, le potenziali applicazioni
dell'apprendimento automatico includono i sistemi di allarme, i sistemi di guida, la sicurezza fisica, la
protezione dei sistemi di comunicazione (sicurezza informatica) e altri. Di seguito sono riportati alcuni esempi
specifici.

1. Sistemi di allarme. La componente terrestre del sistema di allerta precoce degli Stati Uniti è
costituita da grandi radar ad allineamento di fase. 13 I radar di questo tipo dipendono da sofisticati
algoritmi di elaborazione che discriminano tra gli oggetti cercati (cioè i missili nucleari) e altri oggetti
che possono essere presenti (es. aeroplani, uccelli ecc.). Pubblicazioni recenti hanno evidenziato il
potenziale degli algoritmi basati sull'apprendimento automatico per fornire migliori capacità di
discriminazione nelle applicazioni radar. 14 Se utilizzato nei sistemi di allarme preventivo, questo
potrebbe in linea di principio comportare un minor numero di falsi allarmi. 15
2. Sistemi di guida. I missili da crociera, compresi quelli che trasportano armi nucleari, fanno
affidamento su sofisticate capacità di “aderenza al terreno” che consentono loro di volare vicino al
suolo ma non di entrare in collisione con montagne o edifici alti. Sebbene si basino su una serie di
 tecnologie, recentemente gli esperti hanno discusso i potenziali vantaggi dell'utilizzo
dell'apprendimento automatico per facilitare la navigazione e il targeting. 16
3. Cybersecurity. Nell'area della sicurezza informatica, l'apprendimento automatico sta trovando ampio
uso nel rilevamento di malware. 17 Sebbene i dettagli tecnici del sistema nucleare statunitense di
comando, controllo e comunicazione (NC3) non siano pubblicamente disponibili, non è irragionevole
aspettarsi che la sicurezza della rete utilizzi sofisticati approcci di sicurezza informatica, compreso
l'apprendimento automatico.

Gli esempi sopra evidenziano come l'apprendimento automatico potrebbe essere utilizzato in una forza
nucleare modernizzata. È probabile che i potenziali vantaggi in termini di prestazioni siano significativi e,
nonostante le insidie citate di seguito, potrebbero rivelarsi irresistibili per gli sviluppatori e gli sponsor del
governo.

Sebbene i sistemi basati sull'apprendimento automatico abbiano un enorme potenziale, spesso non è
completamente compreso come funzionano tali sistemi e non è ancora possibile caratterizzarne la robustezza.
Inoltre, gli esperti hanno evidenziato numerose modalità di guasto, inclusi i ben noti esempi in cui lievi
modifiche a un oggetto (ad esempio un segnale di stop stradale) hanno portato un sistema basato su algoritmi
a riconoscerlo come qualcosa di completamente diverso. 18 Altri hanno evidenziato il rischio di comportamenti
non intenzionali e dannosi nei sistemi di apprendimento automatico (ad esempio un robot pulitore che
disabilita la sua visione in modo che non veda lo sporco da pulire). 19

Come ammonimento sulle future implicazioni dell'apprendimento automatico nei sistemi di armi nucleari, può
essere utile considerare la crescita della tecnologia digitale. Ad esempio, i progressi nell'informatica hanno
portato una pletora di vantaggi che non avrebbero potuto essere immaginati 40 anni fa. Sfortunatamente, i
primi sviluppatori non prevedevano le conseguenze indesiderate (ad esempio le sfide alla sicurezza
informatica) che sarebbero risultate da una società in rete pervasiva e nella situazione attuale sono stati
implementati sistemi critici la cui sicurezza non può essere garantita. Una situazione del genere che coinvolge
l'apprendimento automatico e le armi nucleari potrebbe essere catastrofica.

III. Conclusioni

Innanzitutto, una buona notizia: sembra esserci accordo sul fatto che qualsiasi decisione di utilizzare armi
nucleari dovrebbe essere presa da un essere umano. Mentre le tecnologie che aumentano il ritmo della guerra
possono a un certo punto mettere in discussione questo, almeno per ora sembra esserci un accordo su
questo negli Stati Uniti. Altri paesi potrebbero vederlo in modo diverso, come quelli con capacità di secondo
colpo meno sicure, che potrebbero percepire che potrebbero ottenere un vantaggio competitivo
implementando gradi più elevati di automazione. 20

Tuttavia, ci saranno forti motivazioni per includere algoritmi basati sull'apprendimento automatico all'interno
degli stessi sistemi di armi nucleari, in una gamma di piattaforme.

In effetti, potrebbero esserci vantaggi reali che non dovrebbero essere ignorati. Ad esempio, algoritmi di
elaborazione migliorati nei radar di allarme rapido potrebbero fornire una migliore discriminazione, riducendo
così la possibilità di un uso errato di un'arma nucleare. Tuttavia, poiché l'apprendimento automatico rimane
fragile, in particolare se utilizzato in sistemi ad alto rischio, qualsiasi decisione di utilizzarlo deve essere basata
su un'attenta considerazione dei vantaggi e dei rischi, incluso il potenziale di comportamenti non intenzionali o
attacchi avversari di successo.

In secondo luogo, è necessario considerare le più ampie implicazioni di politica nucleare dell'apprendimento
automatico nei sistemi nucleari. Anche se l'apprendimento automatico nei sistemi di allarme prevede una
migliore discriminazione, i funzionari sarebbero a proprio agio nel prendere una decisione basata su un
sistema per il quale non esiste una semplice descrizione del modo in cui "decide" o addirittura di come si
esibirà in determinati casi? Inoltre, come risponderanno gli Stati Uniti all'uso da parte di un avversario
dell'apprendimento automatico nei suoi sistemi nucleari e quali sarebbero le implicazioni per le forze nucleari e
la posizione degli Stati Uniti?

In sintesi, la considerazione delle implicazioni, comprese le sfide e le incognite, dell'apprendimento automatico

non dovrebbe essere rimandata fino a quando tali sistemi non saranno operativi. Le implicazioni di sbagliare
sono troppo importanti. Piuttosto, ci deve essere un'analisi attenta per comprendere appieno i vantaggi, ma
anche le conseguenze indesiderate, incluso il modo in cui tali sistemi potrebbero fallire.

1. Expert System, "Che cos'è l'apprendimento automatico? Una definizione ", [n.d.]. Vedere anche la presentazione
dell'apprendimento automatico nel capitolo 2 di questo volume.
2. Vedi ad es. Future of Life Institute, "Benefici e rischi dell'intelligenza artificiale", [n.d.].
3. Scharre, P. e Horowitz, M. C., Artificial Intelligence: What Every Policymaker Needs to Know (Center for New American
Security: Washington DC, giugno 2018).
4. Bostrom, N. e Yudkowsky, E., "L'etica dell'intelligenza artificiale", a cura di K. Frankish e W. M. Ramsey, The Cambridge
Handbook of Artificial Intelligence (Cambridge University Press: Cambridge, 2014), pp. 316–34.
5. Brundage, M. et al., The Malicious Use of Artificial Intelligence: Forecasting, Prevention and Mitigation (Future of Humanity
Institute et al .: Oxford, febbraio 2018).
6. US Office of the Deputy Assistant Secretary of Defense for Nuclear Matters, Nuclear Matters Handbook 2016 (Dipartimento
della Difesa: Washington, DC, 2016); e Congressional Research Service (CRS), U.S. Strategic Nuclear Forces: Background,
Developments and Issues, CRS Report for Congress RL33640 (Congresso degli Stati Uniti, CRS: Washington, DC, 21
novembre 2018).
7. Nel gennaio 2018 gli USA avevano 1750 testate dispiegate: 1600 strategiche e 150 tattiche. Kristensen, H. M., "Forze
nucleari statunitensi", SIPRI Yearbook 2018: Armaments, Disarmament and International Security (Oxford University Press:
Oxford, 2018), pp. 237–43, pagg. 237.
8. Arms Control Association, "Stati Uniti programmi di modernizzazione nucleare ", agosto 2018.
9. Hagel, C., Segretario alla Difesa degli Stati Uniti, "Conferenza del Forum per la difesa nazionale Reagan", 15 novembre
2014; e McLeary, P., "Il terzo offset del Pentagono potrebbe essere morto, ma nessuno sa cosa verrà dopo", Foreign Policy,
18 dicembre 2017.
10. Questa definizione di sistemi autonomi è stata avanzata da Scharre, P., Army of None: Autonomous Weapons and the
Future of War (W. W. Norton & Co .: New York, 2018). Sulle diverse interpretazioni di automazione e autonomia vedere anche
il capitolo 2 di questo volume.
11. Hoffman, D. E., The Dead Hand: The Untold Story of the Cold War Arms Race and Its Dangerous Legacy (Anchor Books:
New York, 2009); e Thompson, N., "Inside the apocalyptic Soviet doomsday machine", Wired, 21 settembre 2009. Sul sistema
Dead Hand vedere anche i capitoli 5 e 8 di questo volume.
12. Ad esempio Clark, C., "STRATCOM’s Hyten on B-21, Columbia Class, NC3", Breaking Defense, 16 aprile 2018.
13. US Missile Defense Agency, "Upgraded early warning radar, AN / FPS-132", scheda informativa, 23 luglio 2014.
14. Rosa, I. M. D. et al., "Successo di classificazione di sei algoritmi di apprendimento automatico nell'ornitologia radar", Ibis,
vol. 158, n. 1 (gennaio 2016), pagg. 28–42.
15. Barrett, A. M., 'Falsi allarmi, veri pericoli? Rischi attuali e futuri di una guerra nucleare involontaria USA-Russia ", Rand
Corporation, 2016.
16. Ad esempio Rajagopalan, A., Faruqi, F. A. e Nandagopal, D., "Guida missilistica intelligente utilizzando reti neurali
artificiali", Artificial Intelligence Research, vol. 4, no. 1 (aprile 2015), pagg. 60–76.
17. Giles, M., "L'intelligenza artificiale per la sicurezza informatica è una novità importante e una scommessa pericolosa", MIT
Technology Review, 11 agosto 2018. Sul potenziale di sicurezza informatica dell'apprendimento automatico, vedere il capitolo
6 di questo volume.
18. Szegedy, C. et al., "Proprietà intriganti delle reti neurali", arXiv, 1312.6199, versione 4, 19 febbraio 2014.
19. Amodei, D. et al., "Concrete problems in AI safety", arXiv, 1606.06565, versione 2, 25 luglio 2016.
20. Sullivan, T., "Seminario NTI: un futuro nucleare stabile? Sistemi autonomi, intelligenza artificiale e stabilità strategica con
Michael C. Horowitz di UPenn, Nuclear Threat Initiative (NTI), 15 novembre 2018.
8. Autonomia nelle forze nucleari russe

Petr Topychkanov

L'Unione Sovietica e poi la Federazione Russa sono state riluttanti a fornire un ruolo centrale all'autonomia
nelle loro armi nucleari e nei relativi sistemi. L'autonomia è stata ampiamente utilizzata nelle loro capacità di
comando e controllo nucleare, difesa dai missili balistici, allerta precoce e ora capacità di attacco. Ma non ha
mai sostituito l'umano nel ciclo. Le prospettive di un più ampio uso dell'autonomia in questi sistemi
dipenderanno non solo dagli sviluppi tecnologici, ma anche dai cambiamenti nella posizione nucleare della
Russia e nella pianificazione militare.

Questo saggio offre una breve analisi dello sviluppo dell'autonomia nelle armi nucleari e nei relativi sistemi
dell'URSS e della Russia. Per gli scopi attuali, questi sistemi di forza nucleare sono intesi come i sistemi che
compongono le capacità di deterrenza nucleare di un paese, cioè i sistemi che hanno lo scopo di dissuadere
un avversario dall'usare la forza convenzionale e nucleare contro quel paese.
Questi sistemi includono capacità di attacco nucleare; difese missilistiche e spaziali (con intercettori
convenzionali e nucleari); sistemi di intelligence, sorveglianza, acquisizione di bersagli e ricognizione (ISTAR);
sistemi di allerta precoce; sistemi di comando e controllo; sistemi di protezione per le forze nucleari e strutture
legate alla forza nucleare; strutture di formazione; e attrezzature per la valutazione dell'affidabilità e della
salute del personale militare che lavora con i sistemi di forza nucleare. Ciascuno di questi sistemi è un'area
promettente per l'applicazione dell'autonomia.

Questo saggio inizia esaminando l'uso dell'autonomia e dell'automazione nello sviluppo di armi sovietiche
durante la guerra fredda (sezione I). Quindi esamina gli sviluppi del dopo guerra fredda in Russia (sezione II).

I. Sviluppi delle armi nucleari durante la guerra fredda

Il 29 agosto 1949 l'URSS condusse il suo primo test nucleare per diventare il secondo stato dotato di armi
nucleari (dopo gli Stati Uniti). Allo stesso tempo, ha iniziato a sviluppare le sue forze nucleari. Ciò ha dato
impulso al lavoro di ricerca in informatica negli anni '50, in particolare nelle tecnologie di autonomia. I frutti di
questa ricerca furono usati prima nella difesa missilistica e poi nel comando e controllo.

Autonomia nella difesa missilistica e allerta precoce

In URSS il progresso dell'informatica è stato guidato in larga misura dalle esigenze delle sue forze nucleari.
Dall'inizio degli anni '60, il motore principale del progresso nell'informatica erano le richieste della difesa dai
missili balistici (BMD) e del sistema di allerta precoce. 1
 Riquadro 8.1. Computer in difesa missilistica e preallarme

All'inizio degli anni '70, il generale Ivan Anureev, un consulente dello stato maggiore delle forze armate
sovietiche, scrisse un rapporto sulle caratteristiche dei missili balistici e delle armi spaziali e sui principi
di difesa contro di essi.
Secondo Anureev, i computer in tali sistemi non controllano solo la difesa missilistica e il preallarme.
Mentre elaborano i dati radar, possono eliminare gli errori casuali causati dal rumore del ricevitore
correlando i risultati di numerose osservazioni. Misurando angoli e distanza da un bersaglio, sono anche
in grado di calcolare l'altitudine, la direzione e la velocità dei missili e il tempo che impiegheranno per
raggiungere il bersaglio. I computer convertono anche i comandi dell'operatore in istruzioni per le
stazioni radar e rinnovano e convertono i dati del bersaglio ottenuti in informazioni adatte alla
visualizzazione.
Anureev ha identificato tre livelli in cui le informazioni vengono elaborate dai computer nei sistemi
radar.
1. A livello del sensore. La velocità di output dei dati del sensore può essere aumentata ottimizzando i
processi di scansione, rilevamento e tracciamento del target.
2. Nel sistema di elaborazione dati. Qui la domanda si riduce ad abbassare il tempo speso per filtrare,
livellare (calcolare la media) e correlare (confrontare) le informazioni radar ricevute.
3. Nel sistema decisionale. A quel tempo, i computer stavano assumendo un significato sempre
maggiore, rendendo possibile prendere una decisione in microsecondi sulla sequenza di oggetti che
colpiscono in un gruppo di bersagli.

Fonte: Anureev, I. I., Antimissile and Space Defense Weapons (Joint Publication Research Service:
Arlington, VA, 1972), p. 119.

Era chiaro negli anni '50 che i computer potevano essere centrali nel rilevare e intercettare le testate in arrivo.
La maggior parte delle operazioni di BMD e di allerta precoce erano viste come completamente automatizzate:
l'autonomia era una parte richiesta della progettazione di questi sistemi. Ciò era dovuto ai requisiti di velocità
della BMD e al preallarme, poiché un essere umano non poteva competere con le macchine nell'elaborazione
dei dati (vedi riquadro 8.1).
Secondo alcune valutazioni, il bilancio combinato che l'URSS ha speso per la ricerca e lo sviluppo di BMD e
sistemi di allerta precoce dagli anni '50 all'inizio degli anni '70 ha superato il bilancio combinato dei programmi
missilistici e spaziali sovietici. 2 Lo sviluppo del computer rappresentava una parte significativa di questi costi.

Tuttavia, la firma del Trattato sui missili anti-balistici sovietici (Trattato ABM) del 1972 ha permesso all'URSS di
cambiare le sue priorità e spendere di più per i suoi sistemi di comando e controllo (incluso il sistema
Perimetr), i sistemi di allerta precoce e offensiva armi nucleari. 3

Autonomia in allerta

In URSS c'erano dubbi sulla sopravvivenza dell'arsenale nucleare dopo un massiccio attacco di controforza da
parte degli Stati Uniti. Per questo motivo, fino alla fine della guerra fredda il principio principale
dell'atteggiamento nucleare sovietico era “lancio con preavviso”. 4
 Casella 8.2. L'incidente di Petrov del 1983

Il 26 settembre 1983, intorno alle 00.30, il tenente colonnello Stanislav Petrov (1939-2017),
incaricato del monitoraggio del sistema di allerta precoce Oko, vide sul suo display che
apparentemente era in corso un attacco statunitense. Il sistema di allarme segnalava che cinque missili
provenienti dagli Stati Uniti si stavano dirigendo verso l'Unione Sovietica. Il ruolo di Petrov era
quello di analizzare le informazioni disponibili per determinare se si trattava di un falso allarme o di
un vero attacco, e in quest'ultimo caso di riferire immediatamente al suo comandante superiore. a
Petrov in seguito ha spiegato in un'intervista che “Il computer principale non mi chiedeva [cosa fare],
era fatto in modo che non me lo chiedesse nemmeno”. È stato appositamente costruito in modo tale
che nessuno potesse influenzare le operazioni del sistema.b
Petrov e il suo team hanno controllato le informazioni dei servizi segreti, ma non sono riusciti a
stabilire con certezza che si trattasse di un falso allarme. Petrov ha tuttavia deciso di denunciare
l'incidente come falso allarme ai suoi superiori. Secondo quanto riferito, si fidava del suo istinto.

a. Hoffman, D. E., The Dead Hand: Reagan, Gorbachev and the Untold Story of The Cold War Arms
Race (Icon: London, 2010), pp. 6-11.
b. Likhanov, D., [40 minuti prima della terza guerra mondiale], Rossiiskaya Gazeta, 1 settembre 2017
(in russo).

In altre parole, la leadership sovietica pianificò un attacco nucleare contro gli Stati Uniti immediatamente dopo
aver ricevuto informazioni dai sistemi di allarme preventivo sui lanci di missili statunitensi.
Il principio del lancio in caso di allarme ha rafforzato il ruolo dei sistemi di allarme rapido. Il sistema di allerta
precoce integrato e multistrato dell'URSS è stato pianificato nel 1972.

Sulla base di questo concetto, l'URSS ha creato una rete di radar e satelliti di allarme oltre l'orizzonte. 5 Il
sistema di allerta precoce integrato è stato progettato per accumulare dati da varie fonti in modo
automatizzato. Una situazione di combattimento reale consentirebbe agli operatori solo un tempo limitato per
analizzare i dati ricevuti automaticamente dal sistema di allerta precoce e quasi nessun tempo per un doppio
controllo separato. Questo sistema non ha mai raggiunto la piena capacità prevista nel 1972.

La capacità che è stata raggiunta non è stata vista dai comandanti sovietici come completamente affidabile. In
molte occasioni il sistema di allerta precoce ha segnalato falsamente i missili in arrivo. 6 Uno degli esempi più
noti di falso allarme è stato un incidente del 1983 con il sistema di allerta precoce Oko (Eye). Questo sistema
è composto da due satelliti, Oko‐1 e Oko-2, che può determinare la traiettoria di un missile tracciando il suo
pennacchio caldo (vedi riquadro 8.2). Durante questo incidente il sistema di allerta precoce ha indicato un
massiccio attacco missilistico contro l'URSS. L'ufficiale responsabile del centro di comando Oko, il tenente
colonnello Stanislav Petrov, non ha avuto la possibilità di ricontrollare i dati: il suo ruolo era interpretare i dati
sullo schermo e riferirli ai suoi comandanti. La decisione di lanciare una risposta nucleare era al di là della sua
responsabilità. Il sistema Oko era una delle numerose fonti di informazione su un possibile attacco all'URSS, e
in seguito divenne chiaro che l'allerta Oko del 1983 non era supportata da altre fonti. Tuttavia, il rischio di un
comando umano errato basato su un falso allarme era alto in quel momento.

Dopo il crollo dell'URSS, il sistema di allerta precoce ha continuato a deteriorarsi. Ciò portò l'esercito russo a
declassare il proprio ruolo nel comando e controllo nucleare. 7 Il principio del lancio su allarme cessò di essere
centrale nei piani nucleari russi.
Automazione di comando e controllo

Come accennato in precedenza, il Trattato ABM ha consentito all'URSS di dare la priorità alle armi nucleari
offensive, al comando e al controllo. La logica alla base di questo cambiamento era impedire agli Stati Uniti di
pianificare un primo attacco nucleare contro l'URSS.

Il Trattato ABM ha permesso a ciascuna parte di difendere solo una regione con un sistema BMD. L'URSS ha
deciso di difendere Mosca. In assenza di BMD, l'unico modo possibile per prevenire un primo attacco
statunitense era che l'URSS sviluppasse capacità di secondo attacco che potessero sopravvivere a un primo
attacco. Gli Stati Uniti e l'Unione Sovietica hanno successivamente concordato il principio di impedire un primo
attacco l'uno contro l'altro attraverso l'ottenimento di capacità di secondo colpo. Questo principio è stato
menzionato nella dichiarazione congiunta del 1990 sui futuri negoziati sulle armi nucleari e spaziali e
sull'ulteriore rafforzamento della stabilità strategica come principio chiave del "rafforzamento della stabilità
strategica".8

La capacità di sopravvivenza della capacità di secondo colpo significava la sopravvivenza non solo delle armi
offensive, ma anche dei sistemi di comando e controllo. Nel 1974, due anni dopo la firma del Trattato ABM, il
governo sovietico decise di avviare la ricerca e lo sviluppo del sistema di comando e controllo Perimetr
(Perimeter) altamente automatizzato.9 Lo scopo di questo sistema era di avviare una ritorsione di massa con
tutti i mezzi rimanenti nel caso in cui un avversario dovesse colpire il territorio sovietico con un primo attacco e
la leadership politica e militare non potrebbe operare normalmente, sia a causa di interruzioni delle
comunicazioni che per decapitazione della leadership. Perimetr è diventata operativa nel 1985.

Come funziona il sistema Perimetr 10

Perimetr può essere avvisato in due modi. Nel primo, può essere allertato da un essere umano. Il secondo
modo è che Perimetr si allenti a causa dei dati ricevuti che confermano un attacco nucleare, sulla base delle
informazioni provenienti da sensori terrestri, marittimi, aerei e spaziali. Il sistema richiede quindi una risposta
sì o no da parte dello Stato Maggiore delle Forze Armate.
Se il comandante supremo (ora presidente della Russia) sopravvive al primo sciopero ed è raggiungibile, lo
Stato Maggiore gli rivolge la richiesta del sistema Perimetr, quindi inoltra la decisione al sistema Perimetr. Se
Perimetr non riceve risposta dallo Stato Maggiore, richiede una risposta sì o no dalla cosiddetta valigetta
nucleare "Cheget", che fa parte del sistema di comando e controllo "Kazbek" delle Forze missilistiche
strategiche.11 Se non c'è risposta dalla valigetta nucleare, Perimetr richiede una risposta sì o no da qualsiasi
centro di comando delle forze missilistiche strategiche. Solo dopo aver ricevuto nessuna risposta da nessuna
di queste fonti, Perimetr è progettato per avviare una ritorsione.

È difficile immaginare che Perimetr venga allertato in assenza di un attacco nucleare o quando un avversario
sta utilizzando solo mezzi convenzionali e informatici, perché la precondizione chiave per essere allertata è
ricevere dati dai sensori che confermano che è avvenuto un attacco nucleare.
Pensando l'impensabile, se Perimetr dovesse essere allertato in assenza di un effettivo attacco nucleare
contro il paese, il sistema è progettato in modo tale che tutti i cambiamenti di stato siano trasparenti ai
comandanti politici e militari autorizzati e tutti questi cambiamenti possono essere annullato da persone
autorizzate in qualsiasi momento. Il principio di avere un essere umano nel ciclo rimane la base per Perimetr,
consentendo allo stesso tempo un funzionamento completamente automatizzato.
Ci sono due punti di vista sulla capacità del sistema Perimetr. Secondo una visione, condivisa dagli autori del
libro Russian Strategic Nuclear Forces, la piena funzionalità non è mai stata attivata e il sistema ha operato
solo sotto forma di razzi di comando. 12 Un'altra vista è presentata dal colonnello Valery Yarynich, un ex ufficiale
della le forze missilistiche strategiche e successivamente lo stato maggiore. In un'intervista nel 2009 ha
descritto la piena capacità operativa del sistema Perimetr e ha affermato che era “in continuo
aggiornamento”.13
Quando divenne non più rilevante dopo la fine della guerra fredda e il cambiamento nelle relazioni tra Russia e
Occidente, il sistema Perimetr fu congelato nel 1995 come parte del disallarme delle forze nucleari. 14 Questa
fu una decisione unilaterale presa. dalla Russia senza simili misure di disallerta da parte degli Stati Uniti.
Sebbene il sistema sia stato reso non operativo, non è stato smantellato. Tuttavia, nel tempo, parte
dell'infrastruttura è diventata obsoleta.

II. Sviluppi post-guerra fredda in Russia

Cambiamento dell'ambiente di sicurezza in Russia: Perimetr di nuovo operativo

Nel 2011 il comandante in capo delle forze missilistiche strategiche russe, Sergei Karakayev, ha confermato
che il sistema Perimetr era tornato operativo. 15

Non è stata semplicemente una ripresa del sistema precedente: ha subito diversi cicli di modernizzazione. 16 La
ragione per il rilancio di Perimetr non è mai stata spiegata dai funzionari russi.
Due recenti dichiarazioni su Perimetr potrebbero indicare nuovi sviluppi nella pianificazione nucleare russa.
Questi sviluppi suggeriscono alcuni cambiamenti nel ruolo dell'automazione nei sistemi nucleari di comando e
controllo e offensivi della Russia.

La prima di queste dichiarazioni è stata rilasciata dal presidente Vladimir Putin il 18 ottobre 2018: “qualsiasi
aggressore dovrebbe sapere che la rappresaglia è inevitabile e sarà annientata. E noi, come vittime di
un'aggressione, come martiri andremmo in paradiso mentre loro semplicemente periranno perché non
avranno nemmeno il tempo di pentirsi dei loro peccati”. 17
La seconda dichiarazione è stata resa l'8 novembre 2018 dal colonnello generale Victor Esin, ex capo di stato
maggiore e vice comandante in capo delle forze missilistiche strategiche russe, che ha confermato che il
sistema Perimetr è operativo e aggiornato. 18 Allo stesso tempo, ha affermato che il sistema non sarà efficace
se gli Stati Uniti si ritireranno dal Trattato del 1987 sull'eliminazione dei missili a raggio intermedio ea corto
raggio (Trattato INF) e dispiegheranno i missili lanciati da terra in Europa che sono attualmente vietato. 19 Se
ciò accadrà, gli Stati Uniti potranno rivoltarsi contro i veicoli di consegna russi a lungo, intermedio e corto
raggio per armi nucleari e armi convenzionali ad alta precisione di varie distanze. Di conseguenza, la Russia
non avrà molte capacità di secondo attacco dopo un possibile primo attacco da parte degli Stati Uniti. 20 Questa
possibilità mina lo scopo principale di Perimetr, che è quello di avviare una ritorsione di massa con tutti i mezzi
rimanenti.

Entrambe le dichiarazioni confermano che il sistema Perimetr è operativo e ha lo stesso scopo per cui era
stato progettato nell'era sovietica. Tuttavia, a differenza della guerra fredda, l'attuale dimensione dell'arsenale
nucleare russo mette in discussione questo scopo. Quando il Perimetr divenne operativo per la prima volta nel
1985, l'URSS aveva 39197 testate nucleari. 21 Nel 2018, l'arsenale nucleare russo totale è composto da circa
6850 testate, di cui 1420 schierate operativamente. 22
Se la Russia dovesse essere attaccata dagli USA, solo una parte di questo arsenale sopravviverebbe.
Questa parte non sarebbe sufficiente per una ritorsione di massa, soprattutto se si tiene conto che il primo
attacco può includere i mezzi nucleari, convenzionali, informatici ed elettronici degli Stati Uniti e dei loro alleati.
Una ritorsione russa potrebbe anche essere limitata dalle crescenti capacità di BMD degli Stati Uniti.
L'argomentazione di Esin riguardava le possibili conseguenze per la Russia della fine del Trattato INF, da cui
gli Stati Uniti dovrebbero ritirarsi il 2 agosto 2019. 23 Se si aggiungeranno agli Stati Uniti missili terrestri di
portata intermedia e più corta, dispiegati in Europa, capacità, quindi la posizione difensiva nucleare della
Russia diventerà meno efficace nel fornire deterrenza nucleare contro gli Stati Uniti.

Automazione in posture nucleari offensive e difensive

I rischi sopra delineati hanno indotto le autorità russe a prendere in considerazione la sostituzione
dell'atteggiamento difensivo nucleare con uno offensivo. Il sistema Perimetr è una parte centrale del primo, ma
non svolgerà lo stesso ruolo nel secondo. Una posizione nucleare offensiva si basa sulla possibilità di un
attacco nucleare preventivo. Lo scopo di questo attacco è prevenire un attacco nucleare o fermare un attacco
convenzionale da un avversario. Allo stesso tempo, un attacco preventivo non dovrebbe provocare una
ritorsione nucleare di massa da parte dell'avversario.
Una postura nucleare offensiva ridurrebbe quindi il ruolo del sistema Perimetr altamente automatizzato. Una
tale postura richiederebbe piani attentamente calibrati per un uso limitato delle armi nucleari. Questi piani
sarebbero modificabili a causa dell'ambiente di sicurezza altamente instabile della Russia.
La postura nucleare difensiva ha un comando e controllo altamente automatizzato come possibile sostituto di
un sistema basato sull'uomo nei casi in cui la leadership politica e militare non può operare normalmente. La
postura offensiva non avrebbe bisogno di questo livello di automazione di comando e controllo all'inizio del
conflitto armato.

Se il conflitto continua con la ritorsione dell'avversario, per la risposta può essere utilizzato Perimetr. Ma
chiaramente non sarebbe un uso di massa di armi nucleari perché parte dell'arsenale russo sarebbe stato
utilizzato in un attacco preventivo e un'altra parte sarebbe stata eliminata dalla rappresaglia dell'avversario.
Nella fase finale di un conflitto armato iniziato con una prelazione nucleare, l'uso di sistemi di comando e
controllo simili a Perimetr sembra non avere alcun senso politico o militare.
Tuttavia, un atteggiamento offensivo nucleare può creare una richiesta di nuove capacità per l'uso limitato
delle armi nucleari. Uno di questi è stato presentato dal presidente Putin nel 2018: il veicolo sottomarino senza
pilota a propulsione nucleare (UUV) Poseidon. 24 Poseidon (noto anche come Status-6) è un sistema
autonomo che, quando e se viene attivato, dovrebbe funzionare secondo i comandi dei centri di comando.
Poseidon sta per essere lanciato da un sottomarino a propulsione nucleare. Può svolgere varie missioni a
seconda del tipo di carico utile che trasporta, che potrebbe essere una testata nucleare o apparecchiature di
sorveglianza. La sua missione dovrebbe teoricamente essere sotto la supervisione umana dall'inizio alla fine
con l'uso di antenne a filo di traino.25 Tuttavia, la domanda chiave è come garantire un tale livello di controllo
di questo UUV a propulsione nucleare senza rischiare la perdita della connessione ad esso e compromettendo
la segretezza dei suoi movimenti, soprattutto in una situazione di combattimento.

Le prove subacquee dei motori Poseidon sono iniziate alla fine del 2018. Il sistema dovrebbe essere messo in
servizio prima della fine del Programma di armamento statale per il 2018-27.26
III. Conclusioni

La posizione nucleare della Russia rimane difensiva. L'autonomia è fondamentale per il sistema di comando e
controllo Perimetr per un attacco di ritorsione e per i sistemi di allerta precoce. Sulla base delle informazioni
disponibili pubblicamente, il primo è stato aggiornato dalla Russia mentre il secondo si è degradato dal crollo
dell'URSS.
I recenti sviluppi nelle relazioni Russia-Stati Uniti potrebbero portare seri cambiamenti nella posizione nucleare
e nella pianificazione militare della Russia. La posizione può diventare offensiva e la pianificazione può
includere opzioni per l'uso limitato di armi nucleari.
Il ruolo dell'autonomia nelle armi nucleari e nei sistemi correlati rifletterà questi cambiamenti. Potrebbe esserci
un passaggio dal ruolo centrale delle capacità di allerta precoce e di ritorsione altamente automatizzate all'uso
più ampio di capacità di attacco autonomo.

1. Revich, Yu. V., [Tecnologia dell'informazione e difesa missilistica], ed. Yu. V. Revich, Istoriya informatsionnykh tekhnology v
SSSR (Knima: Moscow, 2016), p. 48 (in russo).
2. Revich (nota 1), p. 48.
3. Trattato sovietico-statunitense sulla limitazione dei sistemi missilistici antibalistici (Trattato ABM), firmato il 26 maggio 1972,
entrato in vigore il 3 ottobre 1972, non in vigore dal 13 giugno 2002, United Nations Treaty Series, vol. 944 (1974), pagg. 13-
17.
4. Kokoshin, A. A., [Stabilità strategica passata e presente: questioni teoriche e pratiche] (KRASAND: Mosca, 2009), p. 81 (in
russo).
5. Podvig, P., "History and the current status of the Russian early-warning system", Science and Global Security, vol. 10, no. 1
(2002), pagg. 21–60, pagg. 23–24.
6. Kokoshin (nota 4), p. 82.
7. Podvig (nota 5), p. 54.
8. Dichiarazione congiunta Unione Sovietica-Stati Uniti sui futuri negoziati sulle armi nucleari e spaziali e sull'ulteriore
rafforzamento della stabilità strategica, Washington, DC, 1 giugno 1990.
9. Valagin, A., [Ritorsione assicurata: come funziona il sistema russo "Perimetr"], Rossiiskaya Gazeta, 22 gennaio 2014 (in
russo).
10. Altrove in questo volume e in altre pubblicazioni in inglese, il nome Dead Hand è usato per il sistema di comando basato
sui razzi di comando Perimetr. Tuttavia, il nome Dead Hand non è mai stato supportato nelle fonti aperte in lingua russa,
quindi l'autore attuale preferisce non usarlo.
11. Arbatov, A., "Democrazia e armi nucleari", Russia in Global Affairs, 30 luglio 2005.
12. Podvig, P. (a cura di), Russian Strategic Nuclear Forces (MIT Press: Cambridge, MA, 2001), pp. 65-66.
13. Thompson, N., "Inside the apocalyptic Soviet doomsday machine", Wired, 21 settembre 2009.
14. Shirokorad, A., ["Dead Hand" is more dangerous than "Aegis" e "Tomahawk"], Nezavisimoye Voyennoe Obozreniye, 9
aprile 2010 (in russo).
15. Baranets, V., [Comandante in capo del tenente generale della RSRF Sergei Karakayev: "Vladimir Vladimirovich aveva
ragione, possiamo distruggere gli Stati Uniti in meno di mezz'ora"], Komsomol’skaya Pravda,
16. Valagin (nota 9).
17. Presidente della Russia, "Meeting of the Valdai International Discussion Club", 18 ottobre 2018.
18. Odnokolenko, O., [Colonnello generale Victor Esin: "Se gli americani dispiegano finalmente i loro missili in Europa,
dovremo sostituire la dottrina del lancio sotto attacco con la dottrina dell'attacco preventivo"], Zvezda, 8 nov. 2018 (in russo).
19. Trattato Sovietico-USA sull'eliminazione dei missili a corto e intermedio raggio (Trattato INF), firmato l'8 dicembre 1987,
entrato in vigore il 1 ° giugno 1988, United Nations Treaty Series, vol. 1657 (1991), pagg. 4–167.
20. Odnokolenko (nota 18).
21. Norris, R. S. e Kristensen, H. M., "Inventari di armi nucleari globali, 1945-2010", Bulletin of the Atomic Scientists, vol. 66, n.
4 (luglio-agosto 2010), pp. 77–83, p. 81.
22. Kristensen, H. M., "Forze nucleari russe", SIPRI Yearbook 2018: Armaments, Disarmament and International Security
(Oxford University Press: Oxford, 2018), pp. 244–51, p. 247; e Dipartimento di Stato degli Stati Uniti, Bureau of Arms Control,
Verification and Compliance, "New START Treaty aggregate numbers of strategy offensive arms", Fact sheet, 1 settembre
2018.
23. Dipartimento di Stato degli Stati Uniti, "Stati Uniti intenzione di ritirarsi dal trattato INF ", comunicato stampa, 2 febbraio
2019.
24. Presidente della Russia, "Discorso presidenziale all'Assemblea federale", 1 marzo 2018. Il sistema Poseidon è anche
discusso nei capitoli 6, 9, 11 e 14 di questo volume.
25. Ramm, A., Kornev, D. e Boltenkov, D., [Perdita al microscopio], Voenno-Promyshlennyi Kurer,
25 novembre 2015 (in russo).
26. "[Sono stati avviati i test subacquei del sistema di propulsione nucleare del veicolo senza pilota" Poseidon "], Oruzhiye
Rossii, 28 dicembre 2018 (in russo).
9. Intelligenza artificiale e stabilità nucleare

Michael C. Horowitz

La questione di come i progressi nell'intelligenza artificiale (AI) potrebbero influenzare la probabilità di una
guerra nucleare rappresenta una delle molte importanti domande che circondano il modo in cui gli sviluppi
dell'IA possono plasmare l'ambiente di sicurezza internazionale. Nonostante la paura dei “robot killer” nei
media, la maggior parte degli usi dell'intelligenza artificiale coinvolgerà il riconoscimento delle immagini,
l'analisi dei dati e altri sistemi correlati, piuttosto che le armi da campo di battaglia. Anche così, queste
applicazioni potrebbero influenzare in modo significativo la stabilità nucleare in alcuni casi.

In generale, il modo in cui gli stati dotati di armi nucleari pensano di utilizzare sistemi autonomi può dipendere
maggiormente dalla misura in cui considerano vulnerabili le loro capacità di secondo attacco. Più vulnerabili
vedono queste capacità, più è probabile che integrino sistemi autonomi, specialmente quelli che possono
accelerare il processo decisionale o escludere l'essere umano dal giro. Fondamentalmente, gli stati con armi
nucleari insicuri si preoccupano della decapitazione, sia a causa delle armi convenzionali che di quelle
nucleari. Un potenziale vantaggio chiave dei sistemi autonomi è la capacità di prendere decisioni più
rapidamente e in modo autonomo. Uno Stato dotato di armi nucleari insicuro sarebbe quindi più propenso ad
automatizzare i sistemi di preallarme nucleare, utilizzare piattaforme di consegna nucleare senza pilota o, per
paura di perdere rapidamente una guerra convenzionale, adottare posizioni di lancio nucleare che hanno
maggiori probabilità di portare a un uso nucleare accidentale o escalation intenzionale. 1

Ai fini di questo saggio, il termine intelligenza artificiale si riferisce ad applicazioni ristrette (o deboli) dell'IA. 2 Si
tratta di algoritmi progettati per un compito specifico, come AlphaGo Zero (progettato per giocare al gioco), e
che non possono innovare oltre la loro programmazione iniziale. L'alternativa all'intelligenza artificiale ristretta
è l'intelligenza artificiale generale (AGI o strong AI), che ha la capacità di innovare in modo indipendente e di
scrivere nuova programmazione per svolgere nuovi compiti. Questo saggio si concentra sull'IA ristretta perché
è più certo che i progressi nell'IA ristretta si verifichino e perché è più intellettualmente trattabile da analizzare.

Nell'ampia categoria della robotica e dei sistemi autonomi, l'AI rappresenta qualcosa di diverso dai sistemi
robotici pilotati a distanza che molti militari operano oggi. I veicoli aerei senza pilota (UAV) come l'MQ ‐ 9
Reaper sono ancora pilotati, nello stesso modo in cui viene pilotato un aereo da combattimento F ‐ 18. Il pilota
non è a bordo dell'aereo. Anche se alcuni UAV incorporano elementi di autonomia per assistere con il decollo
e l'atterraggio, ad esempio, quei sistemi sono molto più simili al pilota automatico sugli aerei commerciali che a
qualsiasi altra cosa.

Cosa c'entra questo con le armi nucleari? Più e meno di quanto ritengano molti commentatori. Questo saggio
considera l'intersezione dell'IA e del complesso di armi nucleari attraverso tre categorie: comando e controllo
nucleare (nella sezione I), piattaforme di consegna nucleare senza pilota (nella sezione II) e l'impatto degli usi
militari convenzionali dei sistemi autonomi sul potenziale di escalation nucleare (nella sezione III).
I. AI e comando e controllo nucleare

Escludendo un primo attacco, il primo passo nel processo che porta al possibile uso di armi nucleari è il modo
in cui uno Stato dotato di armi nucleari tenta di rilevare se un altro paese sta lanciando armi nucleari e come
risponde.

Molti paesi già automatizzano parti della loro infrastruttura di armi nucleari, in particolare potenze nucleari
avanzate come gli Stati Uniti. 3 Ciò include il preallarme, il comando e controllo e il targeting missilistico. I
progressi nell'intelligenza artificiale potrebbero portare all'espansione dell'uso di sistemi autonomi di comando
e controllo. Ad esempio, gli stati potrebbero decidere di automatizzare componenti aggiuntivi di allerta precoce
perché i sistemi autonomi possono rilevare modelli e cambiamenti nei modelli più velocemente degli esseri
umani. Ciò potrebbe avere potenziali benefici per la sicurezza e la stabilità nucleare, perché algoritmi ben
funzionanti potrebbero dare ai decisori più tempo in un ambiente complesso. Inoltre, i sistemi autonomi
potrebbero rappresentare un'altra forma di ridondanza che aiuta a garantire la diffusione degli ordini di lancio
nel peggiore dei casi.

Tuttavia, l'incidente di Petrov del 1983 illustra un chiaro svantaggio dell'automazione completa del comando e
del controllo. In questo caso, il sistema di preallarme satellitare sovietico Oko ha segnalato un falso allarme: il
lancio di cinque missili balistici intercontinentali (ICBM) statunitensi. Nessun missile era stato lanciato. Il
tenente colonnello Stanislav Petrov era l'ufficiale di guardia in servizio. Era suo compito avvisare la leadership
sovietica di un attacco statunitense. Mentre i sistemi automatizzati riportavano la "massima" fiducia che si
stesse verificando un attacco missilistico, Petrov ha dichiarato di "avere una strana sensazione nel [suo]
stomaco". Ha invece segnalato un malfunzionamento del sistema, piuttosto che un attacco nucleare. 4
Il rischio è che un incidente futuro possa portare a un'escalation, invece di una segnalazione di
malfunzionamento, per due motivi. In primo luogo, la decisione di automatizzare completamente il preallarme
significherebbe che non vi era alcun operatore umano, nessun Petrov, per impedire l'escalation di un falso
allarme. Ad essere onesti, tuttavia, sembra improbabile che un paese escluda completamente gli esseri umani
dal processo di allerta precoce. In secondo luogo, il bias dell'automazione potrebbe significare che un futuro
Petrov si fida dell'algoritmo e invece segnala che è in corso un attacco. 5 Sebbene sia anche improbabile, la
ricerca accademica sul bias dell'automazione suggerisce che questo è un rischio reale. 6

Il pregiudizio dell'automazione si verifica quando gli esseri umani, cullati in un falso senso di sicurezza dal
successo ripetuto degli algoritmi, smettono di metterli in discussione e si fidano completamente di loro.
Questo genera uno scarico cognitivo, in cui è improbabile che gli esseri umani mettano in discussione un
sistema autonomo anche in uno scenario in cui un essere umano imparziale potrebbe riconoscere che un
sistema basato su algoritmi riporta informazioni errate. 7

Pertanto, mentre l'introduzione di sistemi autonomi nel comando e controllo nucleare offre potenziali vantaggi
in termini di riconoscimento più rapido di un attacco, ci sono potenziali rischi dovuti al potenziale di pregiudizio
dell'automazione, anche se c'è ancora un essere umano nella catena comando.
II. AI e piattaforme di consegna nucleare

Una piattaforma di consegna nucleare autonoma sarebbe una versione autonoma di un aereo da
combattimento, bombardiere o sottomarino che trasporta un'arma nucleare armata.

Perché mettere armi nucleari su un UAV? Un paese può temere di violare le sue linee di comunicazione
durante una crisi. I sistemi autonomi preprogrammati potrebbero essere potenzialmente invulnerabili a tali
interferenze. In generale, tuttavia, le piattaforme di consegna nucleare autonome sembrano rischiose.
I rischi associati a una piattaforma autonoma con armi nucleari, che eliminerebbe il controllo umano positivo
sull'uso delle armi nucleari, sembrano evidenti.

L'hacking o lo spoofing potrebbero rendere un sistema vulnerabile all'acquisizione o al malfunzionamento

anche prima di considerare la possibilità che il carattere fragile di un algoritmo porti a un malfunzionamento.
Sono i paesi che si sentono relativamente insicuri riguardo ai loro arsenali nucleari che dovrebbero essere i
più propensi a rivolgersi a piattaforme di consegna nucleare senza pilota. Ad esempio, gli Stati Uniti possono
sentirsi relativamente sicuri di avere l'arsenale nucleare più avanzato al mondo. Pertanto, i leader militari
statunitensi, nonostante la ben nota riluttanza degli Stati Uniti a escludere potenziali capacità, hanno
chiaramente dichiarato la loro resistenza all'armamento con armi nucleari di veicoli autonomi, o anche veicoli a
pilotaggio remoto. Ad esempio, nel 2016 il generale Robin Rand, capo dell'Air Force Global Strike Command,
ha dichiarato:

“Stiamo pianificando che [il bombardiere a lungo raggio B-21 Raider] sia
equipaggiato. . . Mi piace l'uomo nel giro; il pilota, la donna nel giro, molto,. . .
soprattutto come facciamo la missione a doppia capacità con le armi nucleari”.8

Al contrario, la Russia è generalmente al sicuro, ma teme il vantaggio militare convenzionale degli Stati Uniti e
il suo arsenale nucleare. Così, nel 2012 il tenente generale Anatoly Zhikharev, comandante dell'aviazione a
lungo raggio, ha affermato che la Russia potrebbe schierare un bombardiere nucleare senza pilota entro il
2040.9 La Russia ha anche fatto trapelare le sue discussioni sulla costruzione del veicolo sottomarino senza
pilota con armi nucleari Poseidon (UUV). 10
Il sistema (noto anche come Status ‐ 6) potrebbe immergersi fino a 1000 metri e schierarsi al largo di un
potenziale avversario per un periodo indefinito. Dal momento che non dovrebbe tornare in Russia spesso (se
mai) una volta dispiegato, il sistema sarebbe estremamente difficile da rilevare anche per i sottomarini
statunitensi. È la relativa insicurezza della Russia rispetto agli Stati Uniti (nonostante il loro ampio vantaggio
nucleare rispetto a qualsiasi altro paese) che ha probabilmente contribuito a stimolare il suo interesse per
questi sistemi autonomi, anche se non diventano mai realtà. Il modo in cui una potenza nucleare molto più
debole e meno sicura potrebbe avere maggiori probabilità di prendere in considerazione piattaforme
autonome armate di armi di distruzione di massa è ulteriormente dimostrato dalle discussioni della Repubblica
Democratica Popolare di Corea (DPRK o Corea del Nord) sull'uso potenziale di UAV per consegnare armi
chimiche o radiologiche contro la Repubblica di Corea (Corea del Sud). 11
III. Usi militari convenzionali dell'IA e escalation nucleare

Forse il rischio maggiore di escalation nucleare derivante dall'uso di sistemi autonomi e IA potrebbe derivare
dal modo in cui gli usi militari convenzionali dell'IA potrebbero esercitare pressioni sulle potenze nucleari
affinché adottino posizioni di lancio instabili o addirittura colpiscano per prime in una crisi. Uno dei principali
vantaggi dell'IA è la capacità delle macchine di esprimere giudizi più velocemente delle persone. Operare alla
velocità della macchina potrebbe essere un vantaggio sul campo di battaglia, perché i paesi che utilizzano
sistemi autonomi potrebbero superare quelli con operatori umani. 12

Tuttavia, la capacità di una contea di vincere potenzialmente un conflitto alla velocità della macchina significa
che anche un altro paese potrebbe perdere alla velocità della macchina. E la paura di perdere alla velocità
della macchina potrebbe incoraggiare una potenza nucleare più debole, specialmente una che non è sicura
delle sue capacità nucleari di secondo colpo, ad adottare posizioni di uso nucleare generalmente ritenute
instabili, come la pre-delega del potenziale uso nucleare all'inizio un conflitto o una posizione di allerta. Nel
peggiore dei casi, la paura di perdere rapidamente all'inizio di un conflitto potrebbe portare anche a instabilità
di primo colpo, poiché un paese che teme la decapitazione decide di attaccare per primo, con armi nucleari,
nel tentativo di evitare potenziali future sconfitte.
Si noti che non c'è nulla nel fatto che i sistemi siano necessariamente autonomi che generi instabilità in questo
caso. È la velocità crescente della guerra. Pertanto, anche altri potenziali sviluppi, come le armi ipersoniche,
potrebbero generare instabilità. 13 Infine, queste posizioni potrebbero portare a incidenti e calcoli errati poiché i
paesi ancora una volta mettono i loro arsenali nucleari su un grilletto a causa della paura di una rapida
decapitazione.

L'impatto del combattimento alla velocità delle macchine a livello convenzionale sul rischio di escalation
nucleare potrebbe essere esacerbato dall'incertezza su come funzioneranno i sistemi autonomi sul campo di
battaglia. È ancora all'inizio, o anche prima, dell'era dei sistemi militari autonomi avanzati e i paesi sono incerti
su come funzioneranno i sistemi autonomi.

IV. Conclusioni

L'automazione potrebbe avere impatti sia positivi che negativi sul rischio di stabilità nucleare e l'impatto
negativo potrebbe essere massimo per i paesi che dubitano dell'efficacia delle loro capacità di secondo
attacco. I sistemi autonomi offrono potenziali vantaggi in termini di velocità e affidabilità, che potrebbero
renderli allettanti per l'uso nei sistemi di allerta precoce. Tuttavia, anche i sistemi autonomi sono fragili e
quando l'ambiente operativo cambia, anche in piccoli modi, è più probabile che falliscano.

Tuttavia, in alcuni casi l'automazione potrebbe migliorare la sicurezza e l'affidabilità nelle operazioni nucleari.
Compiti semplici e ripetitivi in cui la fatica umana, la rabbia e la distrazione potrebbero interferire sono maturi
per l'uso di algoritmi. Le situazioni ottimali potrebbero essere quelle in cui i paesi utilizzano uomini e macchine
in combinazione, a condizione che la formazione e la dottrina aiutino gli operatori umani a proteggersi dai
pregiudizi dell'automazione.

Ancora più importante, sono le applicazioni convenzionali dell'IA che potrebbero, alla fine, portare al maggiore
aumento del rischio di escalation nucleare. La capacità dei sistemi autonomi di aumentare la velocità e la
precisione della guerra convenzionale potrebbe esercitare pressioni sulle potenze nucleari in una situazione di
crisi, specialmente quelle meno sicure del loro deterrente di secondo colpo. Temendo la decapitazione
all'inizio di un conflitto, questi paesi potrebbero essere più propensi a ricorrere a pericolose dottrine del lancio
nucleare, come il lancio su allarme. Nel peggiore dei casi (anche se improbabile), potrebbe verificarsi
instabilità al primo colpo.

È fondamentale, tuttavia, tenere presente il grande grado di incertezza che circonda i progressi nell'IA. È
possibile, ad esempio, che le vulnerabilità informatiche generino molta più esitazione sull'uso di sistemi
autonomi di quanto descritto sopra. Indipendentemente da ciò, l'intersezione tra IA e armi nucleari sarà
fondamentale per l'ambiente di sicurezza internazionale negli anni a venire.

1. Il termine "senza pilota" viene utilizzato qui per coerenza con il resto di questo volume. Un termine migliore e non di genere
sarebbe "disabitato".
2. Sulla definizione di intelligenza artificiale e sulla distinzione tra IA stretta (o debole) e generale (o forte) vedi il capitolo 2 di
questo volume.
3. Blair, B. G., The Logic of Accidental Nuclear War (Brookings Institution: Washington, DC, 1993).
4. Aksenov, P., "Stanislav Petrov: l'uomo che potrebbe aver salvato il mondo", BBC, 26 settembre 2013; e Hoffman, D., "" Ho
avuto una strana sensazione nello stomaco "", Washington Post, 10 febbraio 1999, p. A10.
5. Sul bias dell'automazione e sull'incidente di Petrov vedere il capitolo 5 in questo volume.
6. Skitka, L. J., Mosier, K. L. e Burdick, M., "L'automazione distorce il processo decisionale?", International Journal of Human-
Computer Studies, vol. 51, n. 5 (novembre 1999), pagg. 991-1006; e Cummings, M., "Distorsione da automazione in sistemi di
supporto decisionale intelligenti in termini di tempo critico", 1a conferenza tecnica sui sistemi intelligenti dell'American Institute
of Aeronautics and Astronautics, Chicago, IL, 20-22 settembre 2004.
7. Cummings, M. L., "Creazione di buffer morali nel design dell'interfaccia di controllo delle armi", IEEE Technology and
Society Magazine, vol. 23, n. 3 (autunno 2004), pagg. 28–33, pagg. 29–30.
8. Hodge Seck, H., "Air Force wants to keep" man in the loop "with B-21 Raider", DefenseTech, 19 settembre 2016.
9. "La Russia potrebbe schierare bombardieri senza pilota dopo il 2040 - Air Force", RIA Novosti, 2 agosto 2012.
10. Mizokami, K., "Il Pentagono conferma che la Russia ha un drone sottomarino per la consegna di armi nucleari", Popular
Mechanics, 8 dicembre 2016. Il Poseidon UUV è anche discusso nei capitoli 6, 8, 11 e 14 di questo volume.
11. Mizokami, K., "Esperti: la Corea del Nord potrebbe sviluppare un drone bomba sporca", Popular Mechanics, 28 dicembre
2016.
12. Horowitz, M. C., "Quando la velocità uccide: sistemi d'arma autonomi, deterrenza e stabilità", documento di lavoro,
Università della Pennsylvania, aprile 2019.
13. Acton, J. M., "Hypersonic Arms Expliner", Carnegie Endowment for International Peace, 2 aprile 2018.
10. Applicazioni militari dell'intelligenza artificiale: riduzione del rischio
nucleare

Frank Sauer

C'è un notevole clamore intorno all'uso militare dell'intelligenza artificiale (AI) e all'approccio principalmente
responsabile degli attuali progressi nel campo: l'apprendimento automatico. Con gli sforzi continui per usarli
per aumentare l'autonomia nei sistemi d'arma, sorgono nuovi rischi, compresi i possibili effetti negativi sulla
stabilità strategica. Inoltre, l'intelligenza artificiale e l'apprendimento automatico offrono anche nuove possibilità
per manipolare il panorama delle informazioni in cui si svolge il processo decisionale nucleare. Di
conseguenza, le misure di mitigazione del rischio nucleare, come l'adozione di dottrine del divieto di primo
utilizzo o uno stato di allerta armi ridotto, sono più pertinenti che mai.
Questo saggio inizia definendo l'IA e l'apprendimento automatico e delineando le idee sbagliate che li
circondano (sezione I). Quindi esamina il motivo per cui vengono applicati nei sistemi d'arma convenzionali e
quali sono i rischi associati (sezione II). Vengono quindi valutati i rischi nucleari che possono derivare
dall'applicazione dell'autonomia nelle forze sia convenzionali che nucleari (sezione III).

I. AI e apprendimento automatico

Definizione di intelligenza artificiale e apprendimento automatico

L'intelligenza artificiale è un concetto ampio, senza una definizione uniforme, e gli obiettivi di ciò che è
considerato artificialmente intelligente cambiano costantemente: la monumentale innovazione di ieri nell'IA è
solo un normale software oggi (ad esempio i computer che giocano a scacchi). 1 Un elemento chiave è
l'automazione, rendendolo un aspetto essenziale delle definizioni di lavoro più comunemente utilizzate di AI. In
effetti, il maggiore potenziale per l'automazione delle attività, che è guidato principalmente dagli investimenti
privati e dalle società tecnologiche civili responsabili della maggior parte dell'innovazione nell'IA, è al centro
dell'attuale serie di scoperte e successi dell'IA, grandi e piccoli. Questi vanno dallo smistamento automatico
delle foto degli smartphone nel cloud alle auto a guida autonoma, in un futuro speriamo non troppo lontano.
Enfatizzare l'automazione significa definire l'IA come tecniche e procedure basate su software implementate
per automatizzare attività per le quali era precedentemente richiesta l'applicazione dell'intelligenza umana.

L'apprendimento automatico è l'uso di algoritmi e modelli statistici avanzati per migliorare le prestazioni delle
attività. A questo proposito, è l'approccio principalmente responsabile della maggior parte dei recenti progressi
dell'IA. L'apprendimento automatico, in particolare l'apprendimento profondo mediante reti neurali, sta ora
dando risultati impressionanti grazie all'aumento della potenza di calcolo e alla disponibilità di grandi volumi di
dati etichettati su cui i sistemi possono essere addestrati. 2 L'apprendimento automatico nella sua varietà di
apprendimento profondo è uno strumento potente per costruire sistemi per il riconoscimento di pattern, ad
esempio in immagini fisse o in movimento e in testo scritto o parlato. Genera costantemente una varietà di
nuove ed entusiasmanti applicazioni civili.
Le idee sbagliate che circondano l'IA e l'apprendimento automatico AI e l'apprendimento automatico sono
ancora contemporaneamente sovrastimate e sottovalutate sia dal pubblico in generale che dai responsabili
delle politiche. Vengono sopravvalutati perché la componente “intelligenza” del termine AI evoca l'associazione
sbagliata, vale a dire con l'apprendimento e l'intelligenza umana. Entrambi differiscono in modo significativo
dalla natura dell'intelligenza artificiale e dell'apprendimento automatico e da ciò di cui sono attualmente
capaci. Dopo tutto, l'intelligenza artificiale basata sull'apprendimento automatico è limitata a compiti
estremamente ristretti. È avido (cioè affamato di immense quantità di dati), fragile (cioè fallisce in modo
spettacolare se confrontato con un compito leggermente diverso da quello per cui è stato addestrato) e opaco
(cioè genera output inspiegabili, essenzialmente rendendolo impossibile eseguire il debug). 3 In altre parole,
l'intelligenza artificiale e l'apprendimento automatico non sono affatto paragonabili alle abilità flessibili e
generalizzate e alla capacità di risoluzione dei problemi che derivano dall'apprendimento e dall'intelligenza
umana.

La scarsa comprensione dell'apprendimento automatico in generale, in particolare la sua natura stocastica

piuttosto che deterministica, e un errore di valutazione dei suoi punti di forza e di debolezza sono in gran parte
responsabili del motivo per cui l'attuale campagna pubblicitaria che circonda le applicazioni militari dell'IA e
dell'apprendimento automatico è così pericolosa.

I limiti della tecnologia suggerirebbero un'introduzione lenta e attenta dell'IA nei militari. Al contrario, la nozione
di intelligenza artificiale come "tecnologia abilitante" viene adottata in modo imprudente. 4 Il risultato è la falsa
speranza che quasi ogni aspetto dell'esercito possa presto essere migliorato in qualche forma o forma.

Allo stesso tempo, i rischi potenziali rimangono sottovalutati. Tali rischi includono dati di addestramento distorti
che portano a effetti dannosi in vari contesti del processo decisionale algoritmico. In ambito civile tali rischi
possono toccare vari aspetti della vita, come la riscossione delle tasse, la concessione di prestiti e persino le
diagnosi mediche.5 In ambito militare, dove il premio più alto è posto sulla velocità aggiuntiva che si può
ottenere dall'automazione, anche i rischi sono molteplici e alcuni di essi danno origine a questioni
fondamentali.

II. AI, machine learning e autonomia nei sistemi d'arma

Il passato, il presente e il futuro dell'autonomia delle armi

I militari stanno esplorando l'uso dell'intelligenza artificiale e dell'apprendimento automatico per una varietà di
scopi: dalla logistica alla manutenzione predittiva, alla previsione strategica, nonché ai migliori aiuti decisionali
per il comando e controllo o la gestione della battaglia.

Tuttavia, l'automazione produce il suo valore più immediato e cruciale sul campo di battaglia nella riduzione
del tempo necessario per completare il cosiddetto ciclo di targeting: il processo di ricerca, correzione,
tracciamento, selezione e coinvolgimento di un obiettivo e quindi valutazione del risultato dell'impegno. 6 Il
completamento di questo ciclo può essere accelerato in una qualsiasi delle sue sei fasi.
Ad esempio, il progetto Maven è una collaborazione tra il Dipartimento della Difesa degli Stati Uniti (DOD) e la
multinazionale tecnologica statunitense Google in cui Google fornisce analisi automatizzate di riprese video da
veicoli aerei senza pilota (UAV) per ridurre il carico di lavoro degli analisti umani. Si concentra sulla prima
parte del ciclo di targeting: ricerca, correzione e monitoraggio. 7
Quando sei già impegnato in una battaglia, il vantaggio più grande si ottiene accelerando la parte successiva
del ciclo di targeting, selezionando e coinvolgendo gli obiettivi.

L'attuale dibattito accademico e diplomatico sull'autonomia nei sistemi d'arma si occupa principalmente di
queste due funzioni finali, cosiddette critiche. 8 Affinché un sistema d'arma sia completamente autonomo come
definito dal DOD degli Stati Uniti e dal Comitato internazionale della Croce Rossa (CICR), deve “una volta
attivato,. . . selezionare e coinvolgere gli obiettivi senza ulteriore intervento da parte di un operatore umano”. 9

I sistemi d'arma che ingaggiano obiettivi autonomamente non sono nuovi, ovviamente, e non sono
necessariamente problematici. I sistemi in grado di ingaggiare bersagli senza intervento umano, come il
sistema di difesa aerea ravvicinata Phalanx sulle navi della marina, sono in uso da decenni. 10 Tuttavia, tali
sistemi sono stazionari, eseguono solo le stesse azioni preprogrammate ripetutamente e di solito diretti il loro
fuoco solo contro gli ordigni in arrivo. Se è così, soprattutto perché la vita umana non è minacciata,
l'autonomia delle armi del tipo "vecchio" è poco motivo di preoccupazione. Al contrario, il "nuovo" tipo di
autonomia delle armi che sta attualmente generando allarmi è presente nei sistemi mobili che operano in
ambienti dinamici, non strutturati e aperti per periodi di tempo più lunghi, coinvolgendo una varietà di bersagli,
compresi bersagli abitati o singoli esseri umani. I sistemi d'arma completamente autonomi che soddisfano
questa definizione, sebbene con compiti limitati, sono già stati messi in campo. Un esempio lampante è l'arpia
israeliana di munizioni vaganti anti-radar; in questo caso, l'ambito di applicazione è limitato alla navigazione su
un'area e al coinvolgimento dei sistemi radar di difesa aerea nemici. 11

Rischi derivanti dal progresso dell'autonomia nei sistemi d'arma

L'autonomia genera autonomia perché la velocità, definita come la capacità di completare il ciclo di mira prima
che lo faccia un avversario, promette un vantaggio tattico chiave.
I rischi derivanti da questa “corsa alla velocità” verso la piena autonomia delle armi toccano il diritto e l'etica
internazionali, nonché la sicurezza e la stabilità globali. 12

Ad esempio, vi sono seri dubbi sulla conformità dei sistemi d'arma autonomi ai requisiti del diritto
internazionale umanitario, in particolare la distinzione tra civili e combattenti o l'uso proporzionato della forza
militare.13 Inoltre, l'idea di delegare il giudizio umano legalmente richiesto a un la macchina è eticamente
discutibile di per sé, indipendentemente dalle prestazioni della macchina. Dopotutto, il principio guida del
rispetto per la dignità umana impone che le macchine generalmente non debbano prendere decisioni di vita o
di morte.14 Per quanto riguarda la stabilità globale, il comportamento imprevedibile dei sistemi d'arma
autonomi in scenari in cui sarebbero presenti più sistemi d'arma controllati da algoritmi interagire è di
particolare interesse.15 Ha suscitato preoccupazioni riguardo a escalation militari indesiderate in una frazione
di secondo, innescate e precipitate troppo velocemente per la cognizione e l'intervento umano. 16 Ciò merita
uno sguardo più attento, soprattutto per quanto riguarda l'emergere di tali rischi quando sono coinvolte armi
nucleari.
III. AI, machine learning e rischio nucleare

Prospettive di intelligenza artificiale e apprendimento automatico nei sistemi di armi nucleari

Nel settore nucleare altamente sensibile e notoriamente conservatore i limiti alla possibile automazione dei
processi e all'autonomia nei sistemi d'arma sono ancora più evidenti che nel regno convenzionale. Dopotutto,
a differenza del caso delle armi convenzionali, nel regno nucleare la decisione sull'uso finale invita nientemeno
che al rischio esistenziale. Pertanto, è relativamente sicuro presumere che nel regno nucleare le funzioni
critiche e le decisioni finali non saranno completamente automatizzate (almeno per il prossimo futuro, si
spera). Detto questo, vale la pena ricordare che l'automazione del processo decisionale nucleare non è del
tutto impensabile, il primo esempio storico è il sistema sovietico Mano Morta, il cui stato e la cui piena portata
sono ancora sconosciuti. 17

L'ultimo ammonimento relativo all'automazione dei sistemi nucleari è fornito dall'esempio del tenente
colonnello Stanislav Petrov, che nel 1983 mise in discussione un allarme del sistema di preallarme sovietico
annunciando un attacco nucleare statunitense. 18 È ampiamente riconosciuto che La decisione di non
segnalare questo allarme lungo la sua catena di comando ha impedito una probabile escalation nucleare.

Petrov in seguito spiegò la sua decisione - che si rivelò corretta perché l'allarme era falso - affermando che il
sistema di allarme sovietico era nuovo, che il piccolo numero di missili statunitensi che riportava non aveva
senso per un primo attacco e che il suo istinto gli fece dubitare dell'autenticità dell'allarme. Il giudizio umano,
come mostra l'esempio di Petrov, include la capacità di valutare e combinare numerose sottili fonti di
informazione contestuali. Come affermato sopra, gli attuali sistemi di intelligenza artificiale e apprendimento
automatico sono in grado di far fronte solo a compiti ristretti e chiaramente definiti. La competenza decisionale
a livello umano come dimostrata da Petrov non sarà riproducibile nelle macchine nel prossimo futuro.

Rischio nucleare e intelligenza artificiale e apprendimento automatico nei sistemi d'arma

convenzionali

Anche se la proverbiale pressione del pulsante nucleare non sarà delegata a una macchina in qualunque
momento presto, la fretta di introdurre l'intelligenza artificiale e l'apprendimento automatico nelle applicazioni
militari rischia di aumentare l'instabilità, inclusa l'instabilità nucleare. Una ragione di ciò è il familiare problema
dell'intreccio tra il regno convenzionale e quello nucleare, in particolare le minacce non nucleari alle armi
nucleari e ai loro sistemi di comando, controllo, comunicazioni e intelligence (C3I ). 19 Con l'aumentare delle
capacità delle armi convenzionali, diventa più fattibile usarli per tenere a rischio gli asset nucleari. L'autonomia
nei sistemi d'arma convenzionali è una di queste capacità avanzate, alimentando così il crescente
coinvolgimento e, a sua volta, la crescente instabilità strategica.

Un esempio concreto potrebbe essere il dispiegamento di UAV furtivi e l'uso dello sciame. Perdix è un
brulicante programma di test attualmente perseguito dalla US Air Force. In futuro, gli sciami UAV potrebbero
facilitare la ricerca di lanciamissili mobili dispersi. 20 Un altro esempio è l'uso di sistemi autonomi marittimi per
cacciare sottomarini con missili balistici a propulsione nucleare (SSBN) armati di armi nucleari. Un programma
finanziato dalla US Defense Advanced Research Projects Agency (DARPA) ha portato allo sviluppo di un
trimarano autonomo, Sea Hunter, che è attualmente in fase di sperimentazione dalla US Navy. 21 La sua
capacità di rilevare e perseguire SSBN potrebbe potenzialmente limitare il secondo capacità di attacco di altre
potenze nucleari.

A dire il vero, queste capacità stanno ancora emergendo e né Perdix né Sea Hunter, né i loro successori,
destabilizzeranno da soli l'ordine nucleare globale. Inoltre, l'ipotesi che sistemi come Sea Hunter renderebbero
gli oceani "trasparenti", praticamente annullando l'utilità degli SSBN come risorsa affidabile per il secondo
attacco, è oggetto di accesi dibattiti. 22 Tuttavia, solo la percezione che le capacità nucleari affrontino nuovi
rischi è destinata a seminare sfiducia tra gli avversari dotati di armi nucleari. Inoltre, un sistema come Sea
Hunter dimostra come le tecnologie delle armi autonome stiano accelerando il completamento del ciclo di
targeting, mettendo così l'avversario sotto ulteriore pressione e provocando potenzialmente scenari di "usalo o
perdilo" per quanto riguarda una capacità di attacco nucleare di secondo colpo. 23

Il problema dell'entanglement è ulteriormente aggravato da una crescente volontà politica di utilizzare mezzi
nucleari per vendicarsi di attacchi non nucleari ai sistemi di allarme rapido e di controllo o alle stesse armi
nucleari. Gli Stati Uniti hanno segnalato nella loro Nuclear Posture Review del 2018 che potrebbero, in futuro,
rispondere con mezzi nucleari ad attacchi strategici significativi e non nucleari (allontanandosi dalla deterrenza
nucleare “a scopo unico”).24 La Russia ha già mantenuto questa posizione da tempo a causa del vantaggio
degli Stati Uniti nella tecnologia delle armi convenzionali. Ora che è rispecchiato dagli Stati Uniti, è probabile
che si verifichino ulteriori effetti negativi sulla stabilità delle relazioni tra le due maggiori potenze nucleari. 25

Rischio nucleare e intelligenza artificiale e apprendimento automatico nelle operazioni di informazione

Oltre ad esacerbare il problema dell'entanglement, alcune tecniche di intelligenza artificiale e apprendimento

automatico stanno evocando altri rischi, anche di lunga data ma meno immediati, per la stabilità strategica,
soprattutto per quanto riguarda calcoli e percezioni errate. Ciò include la manipolazione del panorama
dell'informazione in cui hanno luogo le decisioni politiche e militari sulle armi nucleari.

Un primo esempio qui è la tecnica di apprendimento profondo utilizzata per produrre immagini fisse e in
movimento eccezionalmente accurate ma false, i cosiddetti deep fake, in particolare video deep fake generati
in tempo reale e distribuiti online per scopi manipolativi. 26 Sfortunatamente, nell'era attuale il canale di
comunicazione principale del presidente degli Stati Uniti è il servizio di social media Twitter, le cosiddette fake
news dilagano su Internet e la Corea del Nord è uno stato dotato di armi nucleari. Di conseguenza, i falsi
profondi hanno aggiunto una nuova svolta al rischio esistente di manipolazione, errata percezione e possibile
escalation non intenzionale. Inutile dire che la capacità di generare falsi profondi rientra nella gamma di vari
attori non statali.27
IV. Conclusioni

L'ingresso dell'IA e dell'apprendimento automatico nell'era nucleare ricorda che la riduzione del rischio
nucleare è più pertinente che mai. Dopo tutto, la maggior parte dei rischi esacerbati da queste nuove
tecnologie sono vecchi e ben noti. Ma lo sono anche alcune delle possibili soluzioni per mitigare questi rischi.
Le dottrine del divieto di primo utilizzo e un abbassamento dello stato di allerta degli arsenali nucleari, ad
esempio, farebbero guadagnare tempo prezioso durante una crisi e consentirebbero una valutazione più
attenta dei segnali ricevuti, prevenendo così l'escalation dovuta a errori di calcolo e errata percezione.
Parafrasando Max Tegmark, l'era nucleare è una corsa tra il potenziale dell'umanità di autodistruggersi e la
sua capacità di scongiurare quella catastrofe. 28

Correre alla cieca lungo il percorso verso armi “più intelligenti”, con i rischi nucleari che rimangono
inadeguatamente affrontati come lo sono ora, potrebbe trasformare le applicazioni militari dell'IA e
dell'apprendimento automatico in una scorciatoia per Armageddon.

1. Levy, S., "What Deep Blue tell us about AI in 2017", Wired, 23 maggio 2017. Sulle definizioni di AI e machine learning
vedere il capitolo 2 di questo volume.
2. Marcus, G., "Deep learning: a critical appraisal", arXiv, 1801.00631, 2 gennaio 2018.
3. Marcus (nota 2).
4. Horowitz, M. C., "Intelligenza artificiale, concorrenza internazionale e equilibrio di potere", Texas National Security Review,
vol. 1, n. 3 (maggio 2018), pp. 37-57.
5. Come esempio di quest'ultimo vedere Chen, A., "IBM's Watson ha fornito raccomandazioni non sicure per il trattamento del
cancro", The Verge, 26 luglio 2018.
6. Sull'uso del ciclo di mira come quadro analitico per l'autonomia delle armi si veda il lavoro di Merel
Ekelhof, più recentemente Ekelhof, M. A. C., "Sollevare la nebbia del targeting:" armi autonome "e
controllo attraverso la lente del targeting militare ", Naval War College Review, vol. 71, n. 3 (estate 2018),
pagg. 61–94. Si vedano anche i rapporti del Panel internazionale sulla regolazione delle armi autonome
(iPRAW), più recentemente iPRAW, Rapporto conclusivo: raccomandazioni al GGE (Stiftung Wissenschaft
und Politik: Berlino, dicembre 2018).
7. Il progetto dovrebbe concludersi nel 2019 a seguito delle proteste dei dipendenti di Google. Wakabayashi, D.
e Scott, S., "Google non rinnoverà il contratto del Pentagono che ha sconvolto i dipendenti", New York Times, 1 giugno 2018.
Su Project Maven vedere anche i capitoli 5, 6 e 11 in questo volume.
8. Comitato Internazionale della Croce Rossa (CICR), Sistemi d'arma autonomi: implicazioni
of Aumentare l'autonomia nelle funzioni critiche delle armi, riunione di esperti, Versoix, Svizzera,
15-16 marzo 2016 (CICR: Ginevra, agosto 2016).
9. Dipartimento della Difesa degli Stati Uniti, "Autonomia nei sistemi d'arma", Direttiva n. 3000.09, 21 novembre 2012,
aggiornato l'8 maggio 2017, pag. 13. Vedi anche Comitato Internazionale della Croce Rossa (nota 8), p. 8.
10. Boulanin, V. e Verbruggen, M., Mapping the Development of Autonomy in Weapon Systems
(SIPRI: Stoccolma, novembre 2017), p. 38.
11. Sull'esempio di Harpy in particolare e su una discussione esauriente sull'autonomia nei sistemi d'arma in generale vedi
Scharre, P., Army of None: Autonomous Weapons and the Future of War (W. W. Norton & Co .: New York, 2018).
12. Vedi la panoramica in Amoroso, D. et al., Autonomy in Weapon Systems: The Military Application of Artificial Intelligence as
a cartina tornasole per la nuova politica estera e di sicurezza tedesca, Heinrich-Böll-
Serie di pubblicazioni della Fondazione sulla democrazia n. 49 (Heinrich-Böll-Stiftung: Berlino, maggio 2018).
13. Amoroso et al. (nota 12), pagg. 23–31.
14. Su questa nozione vedere Sparrow, R., "Killer robots", Journal of Applied Philosophy, vol. 24, n. 1 (febbraio 2007), pagg.
62–77; Asaro, P., "Sul divieto di sistemi d'arma autonomi: diritti umani, automazione e disumanizzazione del processo
decisionale letale", International Review of the Red Cross, vol. 94, n. 886 (estate 2012), pagg. 687–709; e Comitato
internazionale della Croce Rossa (CICR), Etica e sistemi d'arma autonomi: una base etica per il controllo umano? (CICR:
Ginevra, aprile 2018).
15. Scharre, P., Autonomous Weapons and Operational Risk (Center for New American Security: Washington, DC, febbraio
2016).
16. Altmann, J. e Sauer, F., "Sistemi d'arma autonomi e stabilità strategica", Survival, vol. 59, n. 5 (novembre 2017), pagg.
117–42.
17. Hoffman, D. E., The Dead Hand: The Untold Story of the Cold War Arms Race and Its Dangerous Legacy (Anchor Books:
New York, 2009). Sul sistema Dead Hand vedi anche i capitoli 5 e 8 di questo volume.
18. Rosenbaum, R., How the End Begins: The Road to a Nuclear World War III (Simon and Schuster: London, 2011), p. 7; e
Blair, B. G., The Logic of Accidental Nuclear War (Brookings Institution: Washington, DC, 1993), p. 181.
19. Acton, J. M. (ed.), Entanglement: Chinese and Russian Perspectives on Non-nucleari Weapons and Nuclear Risks
(Carnegie Endowment for International Peace: Washington, DC, 2017).
20. Kallenborn, Z. and Bleek, P. C., "Swarming Destruction: Drone Swarms and Chemical, Biological, Radiological, and Nights
Arma", Nonproliferation Review, pubblicato online il 2 gennaio 2019.
21. Trevithick, J., "La nave drone Sea Hunter della Marina ha navigato autonomamente verso le Hawaii e ritorno tra i discorsi
sui nuovi ruoli", The Drive, 4 febbraio 2019.
22. Brixey-Williams, S., "L'Atlantico diventerà trasparente?", 2a edizione, British Pugwash, novembre 2016.
23. Altmann e Sauer (nota 16), pagg. 130–31.
24. Dipartimento della Difesa degli Stati Uniti (DOD), Nuclear Posture Review (DOD: Washington, DC, febbraio 2018), p. 21.
25. Trenin, D., "Visioni russe della modernizzazione nucleare degli Stati Uniti", Bulletin of the Atomic Scientists, vol. 75, n. 1
(2019), pagg. 14-18.
26. Schellmann, H., "I video deepfake stanno diventando reali e questo è un problema", Wall Street Journal, 15 ottobre 2018.
27. Brundage, M. et al., The Malicious Use of Artificial Intelligence: Forecasting, Prevention and Mitigation (Future of Humanity
Institute et al .: Oxford, febbraio 2018), p. 49.
28. Tegmark, M., "La corsa alla saggezza si sta riscaldando", Future of Life Institute, 7 gennaio 2016.
11. Le prospettive destabilizzanti dell'intelligenza artificiale per la
strategia nucleare, la deterrenza e la stabilità

Jean-Marc Rickli *

L'impatto dell'intelligenza artificiale (AI) sulle armi nucleari, la strategia e la deterrenza sta diventando di
crescente interesse e crescente preoccupazione per molti osservatori della sicurezza internazionale.
L'intelligenza artificiale è considerata da molti il nuovo proiettile d'argento della guerra futura e una tecnologia
che trasformerà profondamente il potere globale. Ciò è stato chiaramente riconosciuto dal presidente russo
Vladimir Putin, il quale ha osservato che:

“Chiunque diventerà leader in questa sfera [AI] diventerà il dominatore del mondo”.1

Questo saggio evidenzia brevemente il potenziale impatto che l'IA potrebbe avere sulla stabilità strategica
(nella sezione I) e sulla deterrenza nucleare (nella sezione II). Per motivi di chiarezza, la stabilità strategica si
riferisce all'assenza di incentivi a utilizzare prima le armi nucleari (negli attacchi preventivi) e all'assenza di
incentivi per costruire quelle forze.
Oltre a un deterrente credibile che si basa sulla capacità di reagire dopo un attacco nemico, la stabilità
nucleare richiede anche sicurezza e rassicurazione. 2

* L'autore desidera ringraziare Bérangère Barthelmé e Alexander Jahns per aver condotto una ricerca di base.

I. Come l'IA potrebbe minacciare la stabilità nucleare

Impatto sul processo decisionale umano

Una delle caratteristiche chiave dei sistemi basati su algoritmi è che funzionano a velocità sovrumane durante
l'elaborazione dei dati e l'esecuzione di un compito specifico (cioè millisecondi). Diversi studi recenti hanno
dimostrato che, sebbene i sistemi basati su algoritmi siano ancora limitati in ciò che possono apprendere, una
volta che tale sistema ha imparato come svolgere un compito specifico, lo fa meglio e più velocemente di un
essere umano.3 Il progetto Maven, in cui la società tecnologica multinazionale statunitense Google ha cercato
di automatizzare il riconoscimento delle immagini di filmati in tempo reale da veicoli aerei senza pilota (UAV)
per il Dipartimento della Difesa degli Stati Uniti (DOD), è una prima manifestazione di come l'IA potrebbe
essere utilizzata nel processo decisionale militare alleviando l'onere del trattamento dei dati da parte di
operatori umani.4 L'obiettivo del programma era combattere un attore non statale violento facendo affidamento
su algoritmi per identificare "le armi e gli strumenti" di un'insurrezione e consentire così ai soldati di elaborare i
dati due o tre volte più velocemente. 5 Il software di Project haven è costruito sulla libreria open source
TensorFlow, che rende molto difficile costruire vincoli proprietari sul codice. Ciò implica che “una volta che il
[DOD] ha a disposizione un algoritmo addestrabile, può continuare a sviluppare e perfezionare la sua
intelligenza artificiale per il riconoscimento degli oggetti a sua scelta”. 6
La crescente influenza dell'automazione nel processo decisionale militare solleva diverse preoccupazioni,
soprattutto quando si tratta di deterrenza nucleare e, quindi, stabilità strategica nucleare. In effetti, le decisioni
umane basate sui dati raccolti e analizzati da una macchina possono essere influenzate in modi che
l'operatore non è a conoscenza. Ciò ha a che fare con diversi fattori. La natura attuale dei sistemi basati su
algoritmi è paragonabile a una scatola nera in cui è impossibile ripercorrere il processo decisionale degli
algoritmi.7 Questa mancanza di tracciabilità nel processo decisionale può creare un vero dilemma poiché
l'operatore deve fidarsi del risultato presentato dalla macchina.
Tuttavia gli algoritmi riproducono i pregiudizi dei dati su cui si basano per apprendere i loro compiti.

È quindi impossibile escludere un rischio di escalation involontaria o almeno di instabilità se l'algoritmo

interpreta in modo errato e travisa la realtà della situazione.

Questi esempi mostrano che l'intelligenza artificiale non ha bisogno di essere armata per rappresentare una
sfida per la deterrenza nucleare. I sistemi basati su algoritmi nelle funzioni di supporto decisionale militare
come i "consiglieri di intelligenza artificiale", che possono valutare una minaccia nucleare e pianificare la
migliore risposta nel breve tempo disponibile, avranno un enorme impatto sulla gestione dell'escalation dei
conflitti.8 In combinazione con gli attuali sviluppi nelle tecnologie missilistiche e nei missili ipersonici,
potrebbero creare un ecosistema che potrebbe ridurre drasticamente il già breve tempo decisionale per
rispondere a un attacco nucleare, che attualmente è stimato in circa 30 minuti. 9

Imprevedibilità e vulnerabilità della tecnologia AI

Sebbene siano in corso programmi di ricerca come il programma Explainable AI della US Defense Advanced
Research Projects Agency (DARPA), la natura della scatola nera dei sistemi basati su algoritmi rappresenta
un'enorme sfida di responsabilità per i militari. 10 In superficie, l'incertezza riguardo una decisione presa da un
tale sistema, a causa della quasi impossibilità di comprendere i diversi passaggi che conducono ad essa,
potrebbe essere vista da alcuni militari come un vantaggio, fornendo una plausibile negabilità. Tuttavia, questo
rende anche l'arma meno prevedibile, una caratteristica che le organizzazioni militari tradizionali detestano.
La prevedibilità è in effetti una pietra angolare della cultura organizzativa militare tradizionale e quindi è
probabile che le armi dotate di algoritmi di apprendimento automatico verranno prima adottate da attori o
organizzazioni non tradizionali la cui cultura organizzativa è molto più reattiva alle interruzioni. 11

La sfida della responsabilità crescerà in modo esponenziale se gli algoritmi di apprendimento automatico
vengono utilizzati nei sistemi d'arma autonomi letali (LAWS) e crescerà ancora di più se, in un caso teorico per
ora, gli algoritmi di apprendimento automatico saranno mai inseriti nelle armi nucleari. In questi scenari, simili
a ciò che accade nei flash crash finanziari, sono immaginabili modalità di guasto che si traducono in situazioni
o comportamenti inaspettati.12 Una prima illustrazione di tale scenario, sebbene non nel dominio nucleare, è
avvenuta durante la DARPA Cyber Grand Challenge 2016, la prima gara di hacking in cui si sono affrontati
sistemi autonomi di "cattura della bandiera". Durante questa competizione, un sistema autonomo si è arreso
nel mezzo della gara, mentre un altro ha riparato alcuni danni ma, così facendo, ha paralizzato la macchina
che doveva proteggere.13

Il rischio di una guerra nucleare a causa di un guasto dei sistemi di controllo delle armi nucleari causato da un
sistema basato su algoritmi è uno scenario improbabile in quanto implicherebbe che la decisione di lanciare
un'arma nucleare è completamente automatizzata, mentre gli stati vogliono che gli esseri umani mantengano il
controllo di questa decisione. Tuttavia, un'escalation accidentale derivante da informazioni errate fornite da un
algoritmo è uno scenario molto più probabile che dovrà essere preso in considerazione se i sistemi nucleari
saranno mai dotati di algoritmi di apprendimento automatico.

Questo rischio aumenterà ancora di più se gli avversari saranno in grado di fornire dati contraffatti o di
manipolare un algoritmo attraverso un attacco black box. Quest'ultimo si riferisce a una situazione in cui
diverse tecniche (ad esempio l'addestramento di un modello sostitutivo o l'utilizzo di reti generative
antagoniste, che mettono le reti neurali l'una contro l'altra) vengono utilizzate per elaborare i modelli di
apprendimento automatico di un altro sistema basato su algoritmi. 14
In questa situazione, sarebbe possibile manipolare i dati di un avversario e quindi ingannare il suo sistema di
difesa. La possibilità di ingannare gli algoritmi attraverso attacchi contraddittori che, ad esempio, causeranno
un'errata classificazione di un'immagine o la fornitura di dati sintetici errati è reale ed è effettivamente una
preoccupazione crescente per gli specialisti della sicurezza dei dati. 15

II. Come l'IA potrebbe avere un impatto sulla deterrenza nucleare

AI per minare la capacità del secondo colpo degli stati nucleari

A breve termine, il principale impatto destabilizzante dell'IA sulla deterrenza nucleare è nella combinazione di
autonomia e fusione di tutti i tipi di sensori che faranno o sembreranno rendere meno probabile la
sopravvivenza delle capacità di secondo colpo e quindi ridurre la stabilità strategica. La distruzione reciproca
assicurata (MAD) si basa sul presupposto che il potenziale aggressore non ha alcun incentivo a lanciare un
attacco nucleare se il difensore può garantire un attacco di ritorsione.

Fu solo con lo sviluppo dei sottomarini con missili balistici a propulsione nucleare (SSBN) che la deterrenza
nucleare divenne stabile. 16 In effetti, prima che i sottomarini fossero equipaggiati con missili nucleari, si poteva
immaginare una situazione teorica in cui un potenziale avversario avrebbe lanciato un attacco preventivo
contro tutti i bombardieri nucleari e silos nucleari del suo avversario e quindi annientare le capacità nucleari di
ritorsione dell'avversario prima di lanciare il proprio attacco nucleare. Con l'introduzione di sottomarini dotati di
missili nucleari, la deterrenza è diventata stabile poiché era impossibile spazzare via tutti gli SSBN
dell'avversario poiché la posizione di ciascuno è nota solo al comandante della nave.

Ciò potrebbe cambiare drasticamente con i progressi nelle capacità di tracciamento e targeting abilitato all'IA
delle armi nucleari degli avversari. 17 Il presupposto sacrosanto che gli SSBN siano immuni a un attacco
preventivo potrebbe scomparire a causa dei contributi dell'IA all'intelligence, sorveglianza e ricognizione (ISR)
sistemi e la capacità dei veicoli sottomarini offensivi senza pilota (UUV) di inseguire SSBN. 18 Tuttavia, la
tecnologia non è ancora matura. Vale la pena ricordare che la sua ipotesi era già stata contestata dall'ascesa
dellla cyber-vulnerabilità nei lanciamissili. In effetti, uno studio del 2017 ha dimostrato che il sistema di SSBN
Trident britannico non era immune dall'hacking, 19
La capacità dell'IA di fare previsioni basate sulla fusione di diverse fonti di informazioni che le consentono di
trovare e puntare i missili immagazzinati in silos e su aerei, sottomarini o camion è in crescita. Questo
"potrebbe consentire lo sviluppo di minacce strategicamente destabilizzanti alla sopravvivenza" dei lanciatori
di missili e in particolare dei lanciatori mobili di missili balistici intercontinentali (ICBM), la pietra angolare della
deterrenza nucleare.20 Con tali capacità, la minaccia di ritorsioni potrebbe essere esclusa e quindi invitare un
primo sciopero, una prospettiva davvero molto destabilizzante.

Capacità percepite rispetto a capacità reali

Per sua stessa natura, la deterrenza nucleare è altamente psicologica e si basa sulla percezione delle
capacità e delle intenzioni dell'avversario. Qui, tuttavia, risiede l'influenza destabilizzante più complicata e
ingannevole che gli attuali progressi nell'IA hanno sulla deterrenza nucleare: la semplice percezione errata
delle capacità di IA dell'avversario è destabilizzante di per sé. Come osservano giustamente Edward Geist e
Andrew Lohn della Rand Corporation, “l'effetto dell'IA sulla strategia nucleare dipende tanto o più dalle
percezioni degli avversari delle sue capacità quanto da ciò che può effettivamente fare”. 21

L'attuale potenziale di percezioni errate è già importante. Ad esempio, al fine di evitare

che la flotta nucleare statunitense venga attaccata in modo asimmetrico, il DOD
Defense Science Board degli Stati Uniti ha sostenuto che gli Stati Uniti “siano più
proattivi e integrino la [sua] forza sottomarina con altre capacità”, come UUV autonomi
e reti di sensori.22 Nel marzo 2018 il presidente Putin, nel suo discorso annuale
all'Assemblea federale russa, ha affermato che ora, sappiamo tutti che la progettazione e
lo sviluppo di sistemi d'arma senza pilota è un'altra tendenza comune nel mondo. Per
quanto riguarda la Russia, abbiamo sviluppato veicoli sommergibili senza pilota che
possono muoversi a grandi profondità (direi estreme profondità) in modo
intercontinentale, a una velocità molte volte superiore a quella dei sottomarini, dei siluri
all'avanguardia e di tutti i tipi di navi di superficie, comprese alcune dei più veloci. È
davvero fantastico. Sono silenziosi, altamente manovrabili e non hanno quasi nessuna
vulnerabilità da sfruttare per il nemico. Semplicemente non c'è niente al mondo in grado
di resistere a loro.

I veicoli sottomarini senza pilota possono trasportare testate convenzionali o nucleari, il

che consente loro di attaccare vari obiettivi, inclusi gruppi di aerei, fortificazioni
costiere e infrastrutture.23

Tale retorica alimenta direttamente potenziali percezioni errate sulle capacità e le intenzioni.
Con qualsiasi nuovo sistema d'arma, ci sono molte speculazioni su ciò che il sistema può fare. Ad esempio, le
prime prove in mare del nuovo veicolo sottomarino con capacità nucleare Poseidon - il sistema annunciato da
Putin nel marzo 2018 - sarebbero iniziate nel luglio 2018, ma i risultati di questi test rimangono aperti a
speculazioni.24 Con l'attuale clamore che circonda i risultati dell'IA, la semplice percezione che si tratti di una
tecnologia di successo a disposizione di un avversario e di per sé destabilizzante. Secondo un commentatore,
nella deterrenza nucleare le “idee sbagliate su ciò che può fare l'intelligenza artificiale possono essere
pericolose tanto quanto l'IA stessa”. 25 Questa rappresenta la più grande sfida attuale dell'IA alla stabilità della
deterrenza nucleare poiché le potenze nucleari non devono effettivamente acquisire capacità autonome per
sfidare la stabilità strategica. Pertanto, le potenze nucleari dovrebbero considerare, con la massima priorità,
comunicare in modo chiaro e accurato le loro capacità di IA al fine di evitare una corsa agli armamenti AI
globale che ha il potenziale per sconvolgere completamente l'attuale equilibrio strategico nucleare.
Una corsa agli armamenti AI

Un gruppo di potenze militari avanzate comprendente Australia, Israele, Repubblica di Corea (Corea del Sud),
Russia e Stati Uniti, tra gli altri, ha costantemente bloccato qualsiasi progresso verso un nuovo trattato
internazionale o dichiarazione politica per vietare sistemi d'arma completamente autonomi durante i vari
incontri tenuti dal 2014 nel quadro della Convenzione del 1980 su alcune armi convenzionali (Convenzione
CCW).26 Detto questo, non dovrebbero esserci più illusioni sull'incombente corsa agli armamenti nelle
tecnologie AI che caratterizzeranno le future relazioni di potere globale. Ad esempio, in uno studio
sull'autonomia, l'US Defense Science Board ha concluso che il DOD “deve accelerare il suo sfruttamento
dell'autonomia, sia per realizzare il potenziale valore militare sia per rimanere davanti agli avversari che ne
sfrutteranno anche i vantaggi operativi”. 27 Nel luglio 2017 la Cina si è posta l'obiettivo di diventare il leader nel
campo dell'IA entro il 2030, per sfidare il dominio degli Stati Uniti. 28 Le parole del presidente Putin citate
all'inizio di questo saggio hanno chiarito anche la posizione della Russia. Pertanto, lo sviluppo di armi basate
sull'intelligenza artificiale e sull'autonomia sarà una caratteristica chiave delle corse agli armamenti nel 21°
secolo.
Per ora, lo sviluppo di armi nucleari autonome non è pianificato da nessuna potenza nucleare; ma, come
dimostrato sopra, l'intelligenza artificiale nei sistemi di comando e controllo o sorveglianza nucleare non può
essere scontata.

Tuttavia, a differenza della corsa agli armamenti nucleari, questa corsa agli armamenti dell'IA coinvolgerà
probabilmente anche molti più attori, e questi non saranno limitati agli stati. 29 A causa della scalabilità,
efficienza e facilità di diffusione dei sistemi di IA, il costo (in termini di risorse, manodopera e distanza
psicologica) per effettuare gli attacchi sarà inferiore, aumentando potenzialmente il numero di attori malevoli
nonché il numero di attacchi che possono essere eseguiti. 30

La tecnologia UAV mostra caratteristiche di proliferazione simili a quelle tecnologie che si basano
sull'autonomia. Sebbene i primi UAV armati siano apparsi durante la guerra del Viet Nam del 1959-75, non è
stato fino alla fine degli anni 2000 che questa tecnologia è diventata disponibile per attori non statali. Anche
attori non statali come Hezbollah, il gruppo dello Stato islamico e il movimento Houthi hanno ora acquisito
queste capacità immediatamente. 31 Ad esempio, durante la battaglia di Mosul del 2017, lo Stato islamico ha
montato granate da 40 millimetri sugli UAV per sganciarli sulle posizioni del governo iracheno, uccidendo fino
a 30 soldati iracheni in una sola settimana. 32

Le tecnologie emergenti tendono a mostrare caratteristiche simili. Sono costosi da sviluppare prima, ma poi il
prezzo scende drasticamente una volta commercializzati. Per i sistemi basati su algoritmi, questo potrebbe
essere ancora più veloce poiché la maggior parte viene sviluppata utilizzando software open source; anche
quando non lo sono, una volta che un algoritmo è stato sviluppato il prezzo per riprodurlo è quasi inesistente.
Ciò richiederà nuovi modi per affrontare il controllo degli armamenti con meccanismi che superino il divario tra
munizioni convenzionali e nucleari e affrontino la proliferazione orizzontale alle potenze minori e la
proliferazione verticale agli attori non statali. 33 Ciò cambierà anche il carattere della guerra poiché, poiché
l'accesso alle tecnologie delle armi è democratizzato, gli Stati e gli attori non statali saranno tentati di utilizzare
surrogati per combattere per loro conto. 34
III. Conclusioni

Le prospettive dell'applicazione dell'IA nella deterrenza nucleare e nella strategia nucleare hanno il potenziale
per ridurre la stabilità strategica. Le nuove tecnologie di intelligenza artificiale introdurranno nuove minacce
offensive, poiché i sistemi di intelligenza artificiale possono completare le attività con maggiore successo o
sfruttare le vulnerabilità in altri sistemi di intelligenza artificiale, compresi i sistemi d'arma autonomi. Le
minacce potrebbero essere alterate dalle tecnologie di intelligenza artificiale, rendendo gli attacchi tipicamente
più efficaci, più mirati, più difficili da attribuire e più propensi a sfruttare le vulnerabilità nei sistemi di
intelligenza artificiale dell'avversario.

Le applicazioni dell'intelligenza artificiale nei sistemi di supporto decisionale che si occupano dell'uso di armi
nucleari e nel tracciamento e nel targeting dei lanciatori di un avversario miglioreranno notevolmente la
precisione del targeting e, probabilmente, aumenteranno il ritmo delle operazioni. Anche questi
interromperanno la stabilità nucleare. Ancora più preoccupante, tuttavia, è il fatto che solo la percezione di
queste capacità da parte di un avversario sarà di per sé destabilizzante. A peggiorare le cose, la facilità di
proliferazione delle tecnologie di intelligenza artificiale sia per gli Stati che per gli attori non statali aggiungerà
un ulteriore livello di complessità e probabilmente forzerà un ripensamento dei concetti tradizionali di
deterrenza nucleare.35

1. "" Chiunque guiderà nell'IA governerà il mondo ": Putin ai bambini russi nel Knowledge Day", RT, 1 settembre 2017; e
Maggio, E., "Putin crede che qualunque paese abbia la migliore intelligenza artificiale sarà la regola del mondo", Business
Insider, 4 settembre 2017.
2. Lohn, A. J. e Geist, E., "L'intelligenza artificiale minerà la stabilità strategica?", Bulletin of the Atomic Scientists, 30 aprile
2018.
3. Ad esempio Wood, J., "This AI outperformed 20 corporate lawyers at legal work", World Economic Forum, 15 novembre
2018.
4. Il progetto dovrebbe concludersi nel 2019 a seguito delle proteste dei dipendenti di Google. Conger, K., "Google prevede di
non rinnovare il contratto per il progetto Maven, un controverso programma di imaging AI per i droni del Pentagono", Gizmodo,
1 giugno 2018. Sul progetto Maven vedi anche i capitoli 5, 6 e 10 in questo volume.
5. Atherthon, K. D., "Targeting the future of the DoD's controverse Project Maven Initiative", C4ISRNET, 27 luglio 2018.
6. Atherthon (nota 5).
7. Kuang, C., "Si può insegnare all'IA a spiegare se stessa?", New York Times, 21 novembre 2017.
8. Hornigold, T., "In che modo l'intelligenza artificiale influenzerà il rischio di guerra nucleare?", Singularity Hub, 28 maggio
2018.
9. Macias, A., "Ecco cosa dovrebbero fare gli Stati Uniti se la Russia lancia un attacco nucleare, secondo il massimo
comandante nucleare americano", CNBC, 21 marzo 2018.
10. Gunning, D., "Explainable Artificial Intelligence", Defense Advanced Research Projects Agency (DARPA), [n.d.].
11. Horowitz, M. C., "Intelligenza artificiale, concorrenza internazionale e equilibrio di potere", Texas National Security Review,
vol. 1, n. 3 (maggio 2018), pp. 37-57.
12. Akioyamen, P., "Neural networks and deep learning — the revival of HFT", Medium, 22 luglio 2018; e Turchin, A. e
Denkenberger, D., "Classificazione dei rischi catastrofici globali connessi all'intelligenza artificiale", AI & Society, pubblicato
online il 3 maggio 2018.
13. Metz, C., "Gli hacker non devono più essere umani. Questa battaglia con i bot lo dimostra ", Wired, 8 maggio 2016.
14. Botta, A., "Getting to know a black-box model", Towards Data Science, 24 luglio 2018; Giles, M., "The GANfather: l'uomo a
cui le macchine hanno dato il dono dell'immaginazione", MIT Technology Review, 21 febbraio 2018; e Hu, W. e Tan, Y.,
"Generating adversarial malware examples for black-box attack based on GAN", arXiv, 1702.05983, 20 febbraio 2017.
15. Goodfellow, I., "Attacking machine learning with adversarial examples", OpenAI, 24 febbraio 2017; Oberhaus, D., "Il
ricercatore ha creato false impronte digitali" master "per sbloccare lo smartphone", Motherboard, 15 novembre 2018; e
Brundage, M. et al., The Malicious Use of Artificial Intelligence: Forecasting, Prevention and Mitigation (Future of Humanity
Institute et al .: Oxford, febbraio 2018). Sugli attacchi del contraddittorio vedi anche il capitolo 13 di questo volume.
16. Stanhope, M., "Lezioni sulla stabilità strategica e SSBN dalla guerra fredda", The Interpreter, 12 dicembre 2014.
17. Boulanin, V., "AI e armi nucleari: promesse e rischi per la stabilità nucleare", AI & Global Governance, United Nations
University, Center for Policy Research, 7 dicembre 2018.
18. Borchert, H., Mahon, D. e Kraemer, T., "Fare leva sull'autonomia sottomarina per la NATO: gli alleati devono lavorare
insieme per evitare la frazione", Cutting the Bow Wave, 2016, pp. 50-53; e Snyder, R., "Il futuro della forza ICBM: dovrebbe
essere sostituita la gamba meno preziosa della triade?", Policy White Paper, Arms Control Association, marzo 2018, p. 2.
19. Abaimov, S. e Ingram, P., Hacking UK Trident: A Growing Threat (British American Security Information Council (BASIC):
Londra, giugno 2017).
20. Groll, E., "How AI could destabilizzare la deterrenza nucleare", Foreign Policy, 24 aprile 2018.
21. Geist, E. e Lohn, A. J., In che modo l'intelligenza artificiale potrebbe influire sul rischio di una guerra nucleare? (Rand
Corporation: Santa Monica, CA, 2018), p. 1.
22. Dipartimento della difesa degli Stati Uniti (DOD), Defense Science Board, Report of the Defense Science Board Summer
Study on Autonomy (DOD: Washington, DC, giugno 2016), p. 61.
23. Presidente della Russia, "Discorso presidenziale all'Assemblea federale", 1 marzo 2018. Vedi anche "Status-6 / Kanyon –
Ocean Multipurpose System", GlobalSecurity.org, [n.d.].
24. Gady, F.-S., "La Russia inizia le prove in mare del drone sottomarino Poseidon con capacità nucleare", The Diplomat,
21 luglio 2018. Vedi anche Insinna, V., "Il drone sottomarino nucleare della Russia è reale e in posizione nucleare
Review ", Defense News, 12 gennaio 2018.
25. Hornigold (nota 8).
26. Delcker, J., "How killer robots overran the UN", Politico, 12 febbraio 2019; e Convenzione sui divieti
o Restrizioni sull'uso di alcune armi convenzionali che possono essere ritenute eccessive
Ingiurioso o con effetti indiscriminati (Convenzione CCW), aperta alla firma il 10 aprile 1981,
entrato in vigore il 2 dicembre 1983.
27. Dipartimento della Difesa degli Stati Uniti (nota 22), pag. 1.
28. Cadell, C. e Jourdan, A., "La Cina mira a diventare leader mondiale nell'IA, sfida il dominio degli Stati Uniti",
Reuters, 20 luglio 2017; e Chinese State Council, "La Cina pubblica linee guida sull'intelligenza artificiale
sviluppo ", 20 luglio 2017.
29. Rickli, J.-M., "L'impatto dell'autonomia e dell'intelligenza artificiale sulla stabilità strategica", Speciale delle Nazioni Unite,
no. 781 (luglio-agosto 2018), pagg. 32–33.
30. Brundage et al. (nota 15).
31. Rickli, J.-M., The Economic, Security and Military Implications of Artificial Intelligence for the Arab Gulf States (Emirates
Diplomatic Academy: Abu Dhabi, Nov.2018).
32. Chovil, P., "Superiorità aerea sotto i 2000 piedi: lezioni dal condurre una guerra con i droni contro l'ISIL", War on the
Rocks, 11 maggio 2018.
33. Klare, M. T., "Le sfide delle tecnologie emergenti", Arms Control Today, vol. 48, n. 10 (dicembre 2018).
34. Krieg, A. e Rickli, J.-M., Surrogate Warfare: The Transformation of War in the Twenty-First Century (Georgetown University
Press: Washington, DC, 2019).
35. Chertoff, P., Perils of Lethal Autonomous Weapons Systems Proliferation: Preventing Non-State cquisition, Strategic
Security Analysis no. 2 (Centro di Ginevra per la politica di sicurezza: Ginevra, ottobre 2018).
12. L'impatto dei veicoli aerei da combattimento senza pilota sulla
stabilità strategica

Justin Bronk

Gli aerei da combattimento sono solitamente lo strumento preferito dai governi che desiderano rassicurare,
scoraggiare e segnalare con la forza militare. Pertanto, per decenni il giudizio dei piloti umani è stato un fattore
importante per la stabilità strategica, dagli scontri di allerta-pattugliamento della guerra fredda e intercettazioni
di sorvolo agli incontri sui confini nazionali tesi come quello tra India e Pakistan e nello Stretto di Taiwan.
Tuttavia, con i progressi nell'automazione e potenti requisiti operativi, ora c'è pressione sulle forze aeree di
primo livello in tutto il mondo per sviluppare e dispiegare veicoli aerei da combattimento senza pilota (UCAV).
Si tratta di aerei da combattimento senza pilota progettati con un alto grado di sopravvivenza e letalità per
l'uso nello spazio aereo contestato.

Questo saggio discute i fattori che stanno spingendo gli stati dotati di armi nucleari e altre grandi potenze
militari verso lo sviluppo e l'acquisizione di UCAV.
Inizia con una valutazione del vantaggio comparativo degli UCAV (sezione I), che copre sia i vantaggi degli
stessi UCAV sia i punti deboli dei veicoli aerei senza pilota (UAV) esistenti. Il saggio esamina quindi lo stato
attuale della tecnologia UCAV e la misura in cui è stata adottata (sezione II). Infine, conclude esaminando il
requisito di autonomia negli UCAV e la necessità di una discussione sul suo uso responsabile (sezione III).

I. Il vantaggio comparativo degli UCAV

L'inadeguatezza dei veicoli aerei senza equipaggio esistenti per la guerra ad alta intensità

Il tipo predominante di UAV utilizzato dalle forze aeree di tutto il mondo oggi è l'aereo a pilotaggio remoto di
media altitudine (MALE).
Le serie statunitensi MQ-9 Reaper e Chinese Wing Loong sono per molti versi sinonimo dell'uso di UAV (o
“droni”) nella guerra moderna. Tuttavia, questi sistemi non sono adatti per l'uso in conflitti ad alta intensità a
causa della loro mancanza di capacità di autodifesa e della loro dipendenza dal controllo remoto in tempo
reale tramite collegamenti di comunicazioni satellitari (satcom) da parte del personale di volo seduto nelle
stazioni di terra. Satcom è relativamente semplice da interrompere, negare, intercettare o falsificare a causa
delle distanze a cui deve operare rispetto alle sorgenti di disturbo locali. Ciò è stato dimostrato nel 2011
quando l'Iran ha catturato un UAV RQ-170 Sentinel furtivo e altamente avanzato ignorando il collegamento di
comando.1 Ci sono anche esempi di gruppi ribelli come Hezbollah che attingono ai feed UAV israeliani. 2

È probabile che Satcom sia estremamente inaffidabile nell'ambiente elettromagnetico contestato di un conflitto
tra stati, soprattutto quando coinvolge potenze militari avanzate come Cina, Russia e Stati Uniti. Inoltre, ci
sono limitazioni significative alle manovre che un aereo a pilotaggio remoto può eseguire senza perdere
temporaneamente il contatto con il suo controllore, il che limita le sue opzioni difensive una volta ingaggiato da
minacce ostili aeree o di superficie.
I vantaggi operativi degli UCAV

Gli UCAV sono un concetto diverso poiché volerebbero missioni secondo istruzioni preprogrammate o
dinamicamente assegnate, piuttosto che essere pilotati da remoto in tempo reale. In quanto tale, non è
necessario addestrare un quadro di equipaggi o equipaggi remoti nello stile dei tradizionali aerei da
combattimento o UAV. Ad esempio, mentre la Royal Air Force britannica ha una flotta di circa 145 aerei da
combattimento Typhoon, solo circa 55 di questi sono generalmente disponibili per l'uso in prima linea. 3 Questo
perché alcuni sono necessari per addestrare nuovi piloti, e sono necessari più squadroni per ciascuno in
prontezza schierabile in combattimento.

Un tipico pilota di aerei da combattimento statunitense potrebbe trascorrere 6 mesi su 24 schierati in

operazioni o, durante i periodi di sforzo forzato, fino a 6 ogni 18 o addirittura 12 mesi. 4 Il resto del tempo è
dedicato al riposo e al recupero dopo i tour di combattimento o all'addestramento e alla riqualificazione per
mantenere le abilità ed espandere le qualifiche per i piloti più giovani in ciascuna unità. Ciò non significa solo
che sono necessari da due a tre squadroni per ciascuno attualmente schierato o pronto per lo schieramento,
ma che la vita a fatica disponibile (cioè le ore di volo per le quali un dato velivolo è certificato per essere
utilizzato nel suo ciclo di vita) di aerei da combattimento con equipaggio è largamente utilizzato in sortite di
formazione e mantenimento della valuta piuttosto che nelle operazioni.

Con gli UCAV, nessuno degli squadroni extra è teoricamente richiesto e la maggior parte delle sortite
effettivamente volate può essere operativa poiché l'addestramento dei piloti e la valuta (cioè il requisito legale
per rimanere "attuali") non sono un problema. Ciò amplierebbe notevolmente la potenza di combattimento
rappresentata da ogni velivolo acquistato rispetto a un aereo da combattimento della stessa sopravvivenza e
letalità. Inoltre, la comunanza per i piloti (cioè essere addestrati e attualmente qualificati su un aeromobile in
una flotta che consente a un pilota di pilotare tutti gli altri) non è richiesta in una flotta UCAV.

Pertanto, una tale forza potrebbe offrire molta più flessibilità di progettazione mentre è in servizio rispetto a
una flotta di aerei pilotati in risposta alle mutevoli prospettive delle minacce.

La produzione di UCAV per l'espansione delle forze o per sostituire le perdite in combattimento sarebbe una
questione di capacità industriale e gestione della catena di approvvigionamento. Anche se questo sarebbe
difficile e costoso, non sarebbe impossibile con un preavviso ragionevolmente breve. Poiché l'addestramento
dell'equipaggio degli aerei da combattimento richiede anni e richiede una fornitura di piloti istruttori esperti, è
probabile che non sia possibile una tale rapida espansione o rifornimento di aeromobili con equipaggio con
breve preavviso o in seguito a gravi perdite.

II. Lo stato della tecnologia UCAV e la sua adozione

Requisiti tecnologici: UCAV e tecnologia AI

Gli UCAV in grado di svolgere missioni chiave non richiederebbero un'IA generale o tecnologie di automazione
particolarmente avanzate oltre i livelli che sono già stati provati nell'aria da combattimento e in altri settori. 5
Queste missioni chiave includerebbero il contrattacco aereo difensivo (DCA), il contrattacco aereo offensivo
(OCA), la soppressione o la distruzione delle difese aeree nemiche (SEAD/DEAD) e l'attacco profondo contro
obiettivi critici in uno scenario di conflitto ad alta intensità.
Il rilevamento e la distruzione di radar attivi per missili terra-aria (SAM) o aerei da combattimento in una
grande guerra non è qualcosa che richiede giudizi sottili in termini di diritto internazionale umanitario e stime di
proporzionalità o danni collaterali. In particolare, le missioni SEAD/DEAD sarebbero condotte con un forte
affidamento su munizioni che possiedono già una significativa autonomia nella discriminazione dei bersagli
poiché devono essere lanciate dall'esterno della portata dei sensori diretti degli aerei di lancio. 6

I programmi UCAV degli stati dotati di armi nucleari

Insieme, le maggiori efficienze, maggiori densità di forza per una data dimensione della flotta e maggiore
velocità di reazione in volo alle minacce rispetto agli aerei con equipaggio significano che una forza UCAV
potrebbe aumentare notevolmente le opzioni di uno stato per l'uso sia difensivo che offensivo della potenza
aerea contro stati ostili con capacità militari avanzate. Data la misura in cui sia la Cina che la Russia, per non
parlare degli stati più piccoli dotati di armi nucleari come la Repubblica Democratica Popolare di Corea (RPDC
o Corea del Nord) e il Pakistan, fanno affidamento su potenti difese aeree a terra per proteggere le loro risorse
nazionali critiche , uno spostamento verso un vantaggio offensivo nella potenza aerea avrebbe implicazioni
significative per la stabilità strategica, aumentando potenzialmente le pressioni per "utilizzare o perdere"
capacità nucleari a causa dei timori di un primo attacco disarmante.

Il programma X ‐ 45 degli Stati Uniti ha dimostrato la capacità dei prototipi UCAV di rilevare, perseguire e
attaccare dinamicamente le minacce SAM come formazione multi-aereo già nel 2005. 7 In questo scenario gli
UCAV X ‐ 45 operavano secondo le loro regole preprogrammate di ingaggio e situazionali consapevolezza
creata mettendo in comune i rispettivi dati dei sensori. Con oltre un decennio di progressi nei campi critici
dell'elaborazione dei dati, dell'automazione e della fusione di sensori dal programma X-45, sembrerebbe lecito
ritenere che l'attuale tecnologia dei velivoli da combattimento potrebbe già produrre UCAV in grado di
combattere con una capacità di cooperativa automatizzata guerra. Senza problemi di resistenza umana e la
necessità di trasportare cabine di pilotaggio pesanti, complesse e che aumentano le firme radar e canopy
liberi, gli UCAV offrono anche una portata più lunga e una maggiore persistenza “sulla stazione” (cioè
all'interno dell'area di missione designata) rispetto agli aerei da combattimento con equipaggio di un simile
taglia. Possono anche essere utilizzati in scenari ad alto rischio senza la necessità di un supporto di ricerca e
soccorso in combattimento nel caso in cui un equipaggio venga abbattuto in territorio ostile, per non parlare
del minor rischio per la vita senza occupanti umani. Mentre l'aviazione americana ha dichiarato di non vedere
posto per aerei senza pilota con una missione nucleare, il suo nuovo bombardiere a lungo raggio, il B-21
Raider, è stato sviluppato con la capacità di operare senza equipaggio nelle future missioni convenzionali,
rendendolo un aereo da combattimento a doppia capacità potenzialmente altamente automatizzato. 8

La Cina sta sicuramente perseguendo le capacità UCAV con i suoi prototipi UCAV stealth Dark Sword, Sharp
Sword e CH ‐ 7, che sono stati intravisti attraverso la “fuga” di foto attentamente gestita e persino
un'apparizione del modello dimostrativo CH ‐ 7 allo Zhuhai Airshow nel 2018. 9 Gli Stati Uniti hanno anche
dimostrato di poter progettare e testare prototipi di UCAV, con i programmi X ‐ 45 e X ‐ 47, così come il Regno
Unito con Taranis e la Francia con nEUROn. Tecnologicamente parlando, il genio è essenzialmente fuori dalla
bottiglia, anche se India e Russia continuano ad avere problemi con lo sviluppo di velivoli da combattimento
furtivi e altamente automatizzati a causa di limitazioni industriali. Ciò che resta da vedere non è se gli UCAV
vengono sviluppati ma se questi velivoli vengono prodotti e introdotti in servizio, su larga scala e in vista del
pubblico.

III. La necessità che gli UCAV siano autonomi

Autonomia: un'esigenza operativa

Affinché gli UCAV abbiano senso come decisione di investimento per le forze aeree avanzate, devono essere
in grado di rilevare, classificare, assegnare priorità e coinvolgere obiettivi con forza letale in base a compiti di
missione prestabiliti e regole di ingaggio senza controllo umano in tempo reale. Questo perché, in uno
scenario ad alta intensità in un'area altamente contesa, è probabile che i dati o il collegamento satellitare a un
UCAV siano almeno inceppati o interrotti in modo intermittente. Per qualsiasi progetto UCAV destinato ad
avere utilità in un conflitto che coinvolge armi nucleari, la probabilità di una guerra anti-satellite (ASAT) nelle
fasi di apertura di uno scambio nucleare renderebbe la capacità di operare a lungo raggio senza satcom
ancora più critica. In altre parole, gli UCAV devono essere sistemi d'arma autonomi (LEGGI) letali quasi per
necessità logica.10 Tuttavia, ciò non impedisce loro di essere sviluppati con la capacità latente di operare in
modo autonomo pur rimanendo soggetti a un'autorità umana di rilascio di armi “sì o no” in tutti gli scenari in cui
è possibile la connettività. Esistono già molte munizioni stand-off (ad es. Missili da crociera) che possiedono
capacità di rilevamento, classificazione, prioritizzazione e attacco automatiche del bersaglio comparabili
quando in “modalità guerra” ma che non sono attualmente impiegate in missili per navi e missili anti-
radiazioni).

La necessità di un dibattito sull'uso responsabile dell'autonomia negli UCAV

Tutto ciò non significa che gli UCAV debbano sostituire gli aerei da combattimento pilotati, poiché la capacità
umana di comprendere situazioni complesse e sfumate in scenari di combattimento al di fuori dei
combattimenti ad alta intensità rimane essenziale. In una missione nucleare, in cui il destino delle illioni
dipende potenzialmente da decisioni in una frazione di secondo e in cui la complessa comprensione
contestuale ha storicamente riportato l'umanità dall'orlo del baratro in più di un'occasione, ci sono forti
argomenti per mantenere le piattaforme di consegna aerea pilotate. 11

Tuttavia, con il ritorno della grande competizione di potere, la serie quasi irresistibile di vantaggi per il
combattimento di guerra avanzato spingerà le forze aeree verso gli UCAV come parte del loro mix di forze.
Pertanto, i dibattiti etici e legali sul loro sviluppo e utilizzo nei paesi democratici devono essere tenuti adesso.
Da un lato, queste discussioni sugli UCAV dovrebbero prendere in considerazione le questioni legali relative
alla definizione del controllo umano significativo delle risorse senza equipaggio in ambienti a cui sono negate
le comunicazioni, i requisiti per la certificazione ai sensi dell'articolo 36 del Protocollo aggiuntivo I del 1977 alle
Convenzioni di Ginevra e le differenze etiche tra l'occupazione nei conflitti a bassa e ad alta intensità. 12 D'altra
parte, una discussione matura e più generale sulla natura della proporzionalità e della discriminazione nella
guerra ad alta intensità - dove il tempo è critico, le informazioni sono parziali, gli intervalli di stallo spesso
superano una vasta gamma di sensori della piattaforma di lancio e le vittime su larga scala e la
disinformazione sono fenomeni quotidiani, è qualcosa che è necessario quando il mondo ritorna alla grande
competizione di potere.
Anche gli effetti degli UCAV (su uno o entrambi i lati) sulla stabilità strategica devono essere compresi. In che
modo, ad esempio, l'impiego di velivoli altamente resistenti ma senza pilota influisce sulla segnalazione
geopolitica attraverso il dispiegamento di aerei da combattimento e sondaggi dello spazio aereo? Il potenziale
abbattimento di un UCAV durante incontri tesi è reso marginalmente meno intensivo ma più probabile senza
che siano coinvolte le morti degli equipaggi? In che modo una forza d'attacco potenzialmente più capace che
può tollerare più perdite influisce sulle opzioni di controforza e deterrenza? Queste domande devono essere
discusse e modellate in anticipo per ridurre il pericolo di futuri errori di calcolo.

Le potenziali potenze avversarie (e molto probabilmente gli Stati Uniti) non aspetteranno che le potenze
dell'Europa occidentale prendano una decisione prima di realizzare velivoli letali e altamente autonomi. Se i
membri europei dell'Organizzazione del Trattato del Nord Atlantico (NATO), incluso il Regno Unito, ei loro stati
partner devono influenzare la costruzione di norme attorno a questi sistemi, devono riconoscere i loro vantaggi
e le questioni legali ed etiche sui loro potenziali usi. Soprattutto, per partecipare alla sperimentazione e ai
dibattiti che daranno forma all'uso dell'UCAV nei decenni futuri, gli stati dell'Europa occidentale devono offrire
qualcosa che dimostri che non stanno semplicemente cercando di limitare ciecamente l'uso di capacità che
loro stessi non hanno o comprendono.

1. "Iran" che costruisce una copia del drone statunitense catturato "RQ-170 Sentinel", BBC, 22 aprile 2012.
2. Ad esempio Grant, G., "Hezbollah afferma di aver violato i feed video dei droni israeliani", Military.com, 10 agosto 2010.
3. Ministero della Difesa britannico, Segretariato del comando aereo, Richiesta sulla libertà di informazione n. 2017/1418, 24
febbraio 2017; e il governo britannico, Securing Britain in an Age of Uncertainty: The Strategic Defence and Security Review
(Stationery Office: Londra, ottobre 2010).
4. Losey, S., "Il ritmo del dispiegamento dell'Air Force porta nuovi tipi di ceppi", Air Force Times, 29 marzo 2016.
5. Bronk, J., Next Generation Combat Aircraft: Threat Outlook and Potential Solutions (Royal United Services Institute: Londra,
novembre 2018).
6. Bronk, J., "Eastern Europe — a no-fly zone for the West?", RUSI Defense Systems, vol. 18, 13 maggio 2016.
7. Sui programmi X-45 e X-47B e sulla tecnologia UCAV più in generale si veda Rogoway, T., "L'allarmante caso dei veicoli
aerei da combattimento senza pilota misteriosamente scomparsi dell'USAF", The Warzone, The Drive, 9 giugno 2016.
8. Vedi ad es. Sayler, K. e Scharre, P., "Il bombardiere B-21 dovrebbe essere senza pilota il giorno 1", Defense One, 31
maggio 2016.
9. Kang, D. e Bodeen, C., "China unveils stealth combat drone in development", Associated Press, 7 novembre 2018.
10. Bronk (nota 5).
11. Sull'imperativo per il controllo umano delle decisioni di lancio di armi nucleari vedere i capitoli 5–10 e 14 in questo volume.
12. Protocollo I aggiuntivo alle Convenzioni di Ginevra del 1949 e relativo alla protezione delle vittime di conflitti armati
internazionali, aperto alla firma il 12 dicembre 1977, entrato in vigore il 7 dicembre 1978.
13. Autonomia e apprendimento automatico all'interfaccia di armi
nucleari, computer e persone

Shahar Avin e S. M. Amadae *

Una nuova era per la nostra specie è iniziata nel 1945: con la terrificante dimostrazione della potenza della
bomba atomica a Hiroshima e Nagasaki, in Giappone, le potenziali conseguenze catastrofiche globali della
tecnologia umana non potevano più essere ignorate.
Nel campo del rischio catastrofico ed esistenziale globale, la guerra nucleare è uno degli scenari più iconici,
sebbene permangano significative incertezze sulla sua probabilità e potenziale portata distruttiva. 1 Il rischio
rappresentato per l'umanità dalle armi nucleari non è statico. In tandem con i cambiamenti geopolitici e
culturali, le innovazioni tecnologiche potrebbero avere un impatto significativo su come il rischio dell'uso di
armi nucleari cambia nel tempo.

Una crescente attenzione è stata data in letteratura all'impatto delle tecnologie digitali, e in particolare
dell'autonomia e dell'apprendimento automatico, sul rischio nucleare. La maggior parte di questa attenzione si
è concentrata sugli effetti di “primo ordine”: l'introduzione di tecnologie nei sistemi di comando e controllo
nucleare e nei sistemi di consegna delle armi. 2

Questo saggio si concentra invece sugli effetti di ordine superiore: quelli che derivano dall'introduzione di tali
tecnologie in sistemi più periferici, con un effetto più indiretto (ma non meno reale) sul rischio nucleare. In
primo luogo descrive e classifica le nuove minacce introdotte da queste tecnologie (nella sezione I). Quindi
prende in considerazione le risposte delle politiche per affrontare queste nuove minacce (sezione II).

* Gli autori desiderano ringraziare i partecipanti al workshop su plutonio, silicio e

carbonio tenuto dal Centro per lo studio del rischio esistenziale dell'Università di
Cambridge nel settembre 2018 per una vivace discussione su questi argomenti. Sono
inoltre grati a Jon Lindsay per aver condiviso materiali e approfondimenti inediti, ea
Vincent Boulanin, Baruch Malewich e Liran Renert per utili commenti.

I. La nuova tecnologia porta nuove minacce

I rischi degli effetti di ordine superiore possono essere suddivisi in due categorie.

1. Nella prima categoria ci sono nuove vulnerabilità nella base di calcolo affidabile (TCB) della deterrenza
nucleare dovute all'introduzione dell'apprendimento automatico nei sistemi di comando, controllo,
comunicazioni, computer, intelligence, sorveglianza e ricognizione nucleare (NC4ISR). Il TCB di un sistema
informatico è “La totalità dei meccanismi di protezione all'interno di [quel] sistema. . . responsabile
dell'applicazione di una politica di sicurezza”. 3 La deterrenza nucleare presumibilmente richiede una politica di
sicurezza che consenta sempre al personale autorizzato di (a) rilevare minacce che richiedono una risposta
nucleare e (b) lanciare una risposta nucleare, mentre (c) non consentire mai a personale non autorizzato di
lanciare armi nucleari. In quanto tale, come minimo, il TCB della deterrenza nucleare includerebbe tutti i
sistemi NC4ISR critici (ovvero quei sistemi in cui un malfunzionamento o una compromissione
comprometterebbe a, bec).
2. La seconda categoria di rischi consiste in minacce nuove e amplificate derivanti dall'uso dell'autonomia e
dell'apprendimento automatico nella pianificazione ed esecuzione di operazioni informatiche e campagne di
influenza contro i sistemi di armi nucleari e il personale associato.

Entrambe queste categorie espandono e amplificano le minacce esistenti, piuttosto che introdurre categorie di
minacce completamente nuove. Tuttavia, l'entità dell'effetto è sostanziale e può rendere fattibili alcuni attacchi
che prima non erano fattibili.

L'apprendimento automatico e l'autonomia in NC4ISR introduce nuove superfici di attacco

I sistemi informatici sono suscettibili agli attacchi. Si affidano a molte righe di codice che contengono
numerose opportunità per gli sviluppatori di commettere un errore o di non considerare tutte le possibili
implicazioni, in un modo che introduce una vulnerabilità: un bug.

Un avversario paziente e intraprendente è spesso in grado di trovare e sfruttare in modo affidabile tali
vulnerabilità per ottenere il controllo o interrompere le operazioni di un computer o di un sistema basato su
computer.
Le risposte a questa minaccia alla sicurezza informatica si sono evolute nel corso dei decenni, dai test pre-
implementazione alle garanzie formali che alcune parti del codice non contengono tipi specifici di
vulnerabilità.4 Un'altra pratica potente è limitare la “superficie di attacco” di un sistema: è, tutti i punti in cui un
utente malintenzionato può interagire con il sistema. Ad esempio, ciò può essere fatto limitando la funzionalità,
introducendo restrizioni di autorità o limitando i canali di input, o attraverso pratiche come l'air-gap, che separa
fisicamente il sistema da qualsiasi rete. 5 Tuttavia, alcune di queste pratiche di sicurezza limitano l'autonomia,
che richiede un alto livello di funzionalità e integrazione con numerosi input (incluse le risorse di rete).
Pertanto, ovunque vi sia una spinta verso l'autonomia che consente comportamenti complessi (ad esempio
percezione o comportamento di tipo umano o addirittura animale), queste pratiche di sicurezza potrebbero non
essere praticabili.

La sfida di mantenere la sicurezza informatica contro gli attacchi digitali è ancora più difficile per
l'apprendimento automatico che per l'autonomia. Mentre un comportamento complesso autonomo potrebbe
essere prodotto attraverso una serie di regole stabilite e esaminate da uno sviluppatore, un approccio di
apprendimento automatico a un problema cerca invece di determinare un comportamento corretto attraverso
l'analisi di grandi quantità di dati. Sebbene l'algoritmo di apprendimento sia specificato, esaminato e testato
dallo sviluppatore, i comportamenti appresi in molti approcci contemporanei non possono essere esaminati
alla stessa stregua dei sistemi basati su regole. 6

È già noto che un'ampia gamma di modelli addestrati tramite l'apprendimento automatico è suscettibile a un
nuovo tipo di vulnerabilità, denominata “esempi di contraddittorio”: un avversario può creare un input dannoso
che induce in modo affidabile un modello addestrato a produrre il comportamento sbagliato (ad es. un oggetto
in un'immagine o intraprendere un'azione inappropriata nell'ambiente). 7 Sebbene questa vulnerabilità sia nota
e studiata a fondo da diversi anni, non è stata ancora trovata alcuna soluzione solida. Tuttavia, data la
promessa di nuove funzionalità offerte dall'apprendimento automatico e dall'automazione, potrebbe
presentarsi la pressione per implementare sistemi potenzialmente insicuri. 8

Quando si considerano le minacce che potrebbero essere introdotte da una maggiore autonomia e dall'uso
dell'apprendimento automatico, è importante considerare l'intera vasta gamma di sistemi e funzioni che
costituiscono e supportano NC4ISR. Particolare attenzione è stata data ai sistemi di consegna e al comando,
controllo e comunicazioni nucleari (NC3). 9 La consapevolezza di potenziali minacce ai sistemi informatici
“centrali” in NC3 ha portato a un miglioramento significativo della sicurezza per tali sistemi e una certa
riluttanza a introdurre l'autonomia e l'apprendimento automatico in loro. 10

Tuttavia, anche più sistemi periferici possono rappresentare una minaccia, soprattutto perché sono siti più
probabili per l'introduzione dell'autonomia e dell'apprendimento automatico. Questi includono, ad esempio, i
sistemi a bordo dei satelliti che trasmettono comunicazioni e immagini oi simulatori utilizzati per pianificare e
testare le strategie. Possono anche estendersi fino ai vasti sistemi informatici e reti che forniscono
informazioni di notizie al pubblico e ai funzionari civili, il che può influenzare il processo decisionale tattico o
strategico.

Certo, non è sempre facile tracciare uno scenario che inizia con una compromissione di un particolare sistema
periferico e si conclude con il lancio non autorizzato di un'arma nucleare. 11 È altrettanto difficile descrivere uno
scenario in cui un avversario intervenga nel lancio autorizzato di un'arma nucleare.

Tuttavia, questi sistemi sono presenti per l'avversario ben finanziato e paziente da esplorare e sfruttare. In
particolare, vi è una crescente preoccupazione per gli attacchi che inizialmente prendono di mira i sistemi di
comando, controllo, comunicazioni, computer, intelligence, sorveglianza e ricognizione (C4ISR) che sono
“intrappolati”, cioè utilizzati sia per armi nucleari che convenzionali, come i satelliti, raccolta di informazioni e
logistica.12 I sistemi entangled presentano qui due sfide: in primo luogo, spesso non sono considerati sistemi
“nucleari”, quindi sono soggetti a un livello di controllo di sicurezza inferiore rispetto ai sistemi nucleari. In
secondo luogo, gli attacchi a tali sistemi possono essere considerati da un avversario come improbabili in
grado di innescare un'escalation nucleare, portando a un errore di calcolo: l'avversario potrebbe anche non
sapere che il sistema ha uno scopo NC4ISR e potrebbe quindi considerare l'attacco come convenzionale
mentre il bersaglio lo stato può percepire l'attacco come un attacco alle sue capacità nucleari.

L'apprendimento automatico e l'autonomia possono essere utilizzati per eseguire operazioni

informatiche e di influenza contro i sistemi nucleari e il personale

Dopo aver esaminato i modi in cui uno stato può aumentare la vulnerabilità e il rischio introducendo
l'autonomia e l'apprendimento automatico nei propri sistemi NC4ISR, i vari modi in cui un utente
malintenzionato potrebbe implementare l'apprendimento automatico e l'autonomia per compromettere i sistemi
NC4ISR di un avversario, anche quelli che non dispongono di qualsiasi autonomia o apprendimento
automatico vengono ora presi in considerazione.

La superficie di attacco dei sistemi NC4ISR di uno stato dotato di armi nucleari è composta da numerosi
sistemi informatici (come rilevato sopra) e anche da un'ampia gamma di personale. Questi includono il
personale militare incaricato di dispiegare le armi; gli appaltatori civili incaricati di costruire e mantenere i
sistemi d'arma; e le autorità civili che prendono decisioni per finanziare la manutenzione, la modernizzazione o
il ritiro dei sistemi d'arma. Ci sono anche individui, gruppi e organismi internazionali che sostengono misure
per il controllo degli armamenti e cercano di influenzare l'opinione pubblica e le norme nucleari, e molti altri
nella lunga lista di persone coinvolte.
Nessun sistema informatico dovrebbe essere considerato perfettamente sicuro. Piuttosto, i meccanismi di
sicurezza sono posti per aumentare il costo o il rischio per l'attaccante a un livello che rende un attacco
effettivamente impraticabile nella maggior parte delle condizioni previste.
Ad esempio, richiedere l'azione simultanea di due individui per armare un'arma nucleare richiede che un
aggressore comprometta due addetti ai lavori invece di uno.

L'air gap di un sistema richiede che un utente malintenzionato ottenga l'accesso fisico al sistema. All'interno di
domini ristretti, la crittografia e la sicurezza informatica possono garantire che la potenza di calcolo richiesta
per attaccare un sistema sia astronomica. Tuttavia, se si considera l'intera superficie di attacco di NC4ISR,
non è attualmente possibile fornire tali garanzie per il sistema nel suo complesso. In teoria, le applicazioni
dell'apprendimento automatico e dell'autonomia da parte dell'aggressore possono ridurre il costo di un attacco
e trasformare il sistema di destinazione da “effettivamente sicuro” a “effettivamente insicuro”.
L'articolazione dei modi specifici in cui l'autonomia e l'apprendimento automatico possono ridurre il costo di un
attacco richiede l'accesso a informazioni parzialmente o interamente classificate. Invece, i tipi di nuovi attacchi
che gli stati dotati di armi nucleari dovrebbero considerare nelle loro valutazioni delle minacce sono illustrati
dalle seguenti due descrizioni qualitative di scenari che caratterizzano l'autonomia e l'apprendimento
automatico in numerosi punti all'interno del sistema di un attaccante. 13

Uso dell'apprendimento automatico e dell'autonomia per compromettere i sistemi informatici

NC4ISR su larga scala

In questo scenario, il paese A è interessato a sviluppare una capacità affidabile per monitorare, degradare o
interrompere numerosi componenti digitali chiave dei sistemi NC4ISR del paese B. In primo luogo, il paese A
trova informazioni sui potenziali obiettivi nei sistemi del paese B, ad esempio, quale hardware e software sono
installati, la configurazione e l'accesso alla rete e così via. Questo è un lavoro di intelligence tradizionale:
raccogliere informazioni da fonti negli appalti, negli appaltatori della difesa e nelle basi militari. 14 Il Paese A può
implementare l'apprendimento automatico per elaborare grandi volumi di dati per lo più irrilevanti da fonti
commerciali, commerciali, di approvvigionamento, di bilancio o logistiche che possono far luce su quali sistemi
sono installati e dove. Se il paese A è ben posizionato per farlo, potrebbe mirare a diventare il fornitore a
monte di componenti per i sistemi militari dei suoi avversari. 15

Una volta compilato un elenco di tecnologie di destinazione, il paese A può accedere ai sistemi del paese B
tramite una copia del codice compilato o sorgente o tramite una connessione remota o una replica. Con
l'accesso al codice sorgente, il paese A può cercare vulnerabilità nei sistemi di destinazione e creare exploit. 16
Le tecniche di machine learning e l'automazione accelerano la ricerca di schemi di errori comuni che
potrebbero portare a un exploit. L'accesso al codice compilato, se combinato con il reverse engineering,
consente una ricerca di vulnerabilità simile, accelerata dal machine learning e dall'automazione. Infine, con
solo l'accesso "scatola nera" a un sistema (dove gli input possono essere inviati al sistema e gli output
possono essere letti, ma non è possibile l'accesso al codice sorgente o compilato), i ricercatori di sicurezza
possono provare un gran numero di combinazioni di input per trovare le vulnerabilità. Questo metodo,
chiamato “fuzzing”, è spesso fortemente automatizzato. 17
Una volta che il paese A ha identificato una serie di vulnerabilità nei sistemi del paese B, deve escogitare un
piano su come utilizzarle. Per rendere più difficile il rilevamento e aumentare la negabilità, il paese A potrebbe
assumere il controllo delle risorse di calcolo insicure di una terza parte per impostare bot autonomi o semi-
autonomi armati del codice necessario per lanciare gli exploit contro i sistemi del paese B. I sistemi che
controllano la rete di bot possono includere essi stessi un'automazione significativa, per consentire a molti
computer di operare in sincronizzazione e complicare ulteriormente il rilevamento e l'attribuzione. Gli strumenti
di apprendimento automatico potrebbero essere utilizzati per analizzare il profilo statistico del traffico nella rete
di destinazione o nelle reti intermedie, in modo che il traffico generato dai bot possa imitare la stessa
distribuzione ed evitare il rilevamento da parte di strumenti di difesa basati su statistiche.
In questi esempi, l'autonomia e l'apprendimento automatico non presentano al paese A una capacità
completamente nuova, ma aumentano invece la scala delle capacità esistenti o riducono i costi del personale
e della formazione. Inoltre, l'autonomia e l'apprendimento automatico aumentano la distanza e riducono la
probabilità di scoperta e attribuzione. In tal modo, possono ridurre i costi percepiti (in denaro o paura di
ritorsioni) di un attacco.

Uso dell'apprendimento automatico e dell'autonomia per lanciare una campagna di

manipolazione che ritarda la capacità nucleare

In questo scenario, il paese A cerca di influenzare le opinioni e il processo decisionale nel paese B. Ciò
potrebbe avvenire diminuendo i fondi e il talento disponibili per le operazioni nucleari del paese B o
diminuendo la probabilità che il paese B risponda a una situazione ambigua o minacciosa con un attacco
nucleare.
In primo luogo, il paese A identifica i responsabili delle decisioni che vorrebbe influenzare. Questi potrebbero
essere funzionari eletti che votano sui bilanci, alti funzionari militari che decidono sui piani futuri e sui protocolli
per l'escalation, o potenziali reclute che decidono se intraprendere una carriera nell'apparato nucleare.
Successivamente, il paese A mappa le opinioni e le convinzioni che guidano le decisioni degli individui, mappa
le fonti attraverso le quali queste opinioni e credenze si formano e determina quali saranno le possibilità di
cambiamento per un estraneo. Le opportunità di influenza spesso si presentano quando sono coinvolti pubblici
ampi e tecnologici o quando si valorizza la discussione libera e aperta. 18

A questo punto, il paese A può profilare i suoi target e identificare gli influencer intermedi che dovrebbe
coinvolgere.19 Per profilare un target, potrebbe studiarne il comportamento (ad esempio i siti web che lei o lui
visita) e la sua identità e appartenenza al gruppo , altre credenze e ideologie (da dichiarazioni pubbliche),
quindi redigono un profilo psicologico, e così via. Tali informazioni possono essere consultate oggi da diverse
società private (ad esempio Facebook, Twitter) e dalle società pubblicitarie che lavorano con loro. Sulla base
dei profili stabiliti, il paese A può iniziare una campagna di influenza con un metodo per tentativi ed errori di
testare e perfezionare i contenuti mirati (ad es. Pubblicità, messaggi diretti, notizie, ecc.), Misurando nel
contempo il coinvolgimento e l'entità del effetto che i messaggi hanno sul comportamento dei bersagli. Questo
metodo beneficia in modo significativo dell'automazione e in particolare della capacità di personalizzare i
messaggi che guidano ogni individuo verso il comportamento desiderato. I percorsi verso quel comportamento
possono essere diversi per ogni persona. 20 Ad esempio, individui o comunità avversi al rischio potrebbero
essere presi di mira con prove storiche di incidenti nucleari, mentre le comunità orientate al piccolo governo
potrebbero essere informate dei costi del mantenimento della deterrenza nucleare.
Le potenziali reclute potrebbero essere mirate con offerte di lavoro o carriere alternative.
Una tecnologia nascente e potente di influenza è la capacità di creare falsi realistici di volti utilizzando reti di
antagonismo generativo (GAN). Ciò consente la creazione di video in cui le persone sembrano dire cose che
non hanno detto.21 Questi possono essere particolarmente potenti nel rafforzare le idee a cui una comunità
target è ideologicamente predisposta. I metodi forensi per identificare i contenuti come falsi sono agli inizi e la
loro efficacia è ancora in dubbio. 22

I due scenari di minaccia delineati sopra - una ricerca di vulnerabilità nei sistemi informativi digitali nucleari di
un avversario e campagne di influenza per alterare la prontezza e la risoluzione nucleare di un avversario -
esistono dall'era della guerra fredda.

Tuttavia, entrambi contengono numerosi passaggi che possono essere facilitati dall'autonomia e dal machine
learning. Questi possono ridurre il costo per l'attaccante, aumentare la velocità, la portata e l'efficacia di un
attacco o ridurre il rischio per l'attaccante offuscando i collegamenti alla fonte e consentendo una negabilità
plausibile. Questo aspetto dell'apprendimento automatico e dell'autonomia nel dominio delle armi nucleari
dovrebbe essere esplorato e redatto in squadra dalle parti che sono in grado di accedere alle informazioni
classificate pertinenti. Altre risposte politiche generali che potrebbero essere appropriate sono considerate di
seguito.

II. Le nuove minacce richiedono nuove risposte politiche

Le minacce informatiche minano la deterrenza nucleare

La deterrenza nucleare funziona per contrastare le minacce di attacchi convenzionali nucleari o su larga scala
attraverso la trasparenza della sua posizione. Si basa su uno stato sempre/mai allerta: sempre pronto per
essere eseguito tramite legittima autorità e mai soggetto a compromessi. Le operazioni informatiche, come
altre azioni segrete, si basano sulla furtività: gli attacchi digitali sfruttano vulnerabilità sconosciute agli stati
bersaglio e spesso mirano a rimanere segreti; una volta reso evidente, gli attaccanti possono perdere il loro
vantaggio poiché lo stato bersaglio può reagire.

Le vulnerabilità cibernetiche sfidano sempre più la deterrenza nucleare perché gli stati dotati di armi nucleari
potrebbero non sapere che le loro capacità sono state compromesse e inoltre potrebbero avere incertezza
sullo stato dei loro sistemi NC3 o NC4ISR. Ciò può portare a un falso senso di fiducia e incoscienza nel
lanciare minacce con potenziale di escalation, oppure può contribuire a un senso esagerato di vulnerabilità
che incoraggia l'azione preventiva. L'erosione della credibilità dovuta a queste incertezze mina anche
l'obiettivo generale di scoraggiare i conflitti. Inoltre, l'ostacolo per raggiungere capacità cibernetiche offensive è
molto inferiore a quello richiesto per stabilire una deterrenza nucleare credibile, in termini di risorse, talento e
regolamentazione internazionale. In un mondo in cui le capacità cibernetiche possono essere viste come una
compensazione delle capacità nucleari, il numero di attori potenzialmente rilevanti cresce in modo significativo
e l'adeguatezza delle relazioni esistenti di deterrenza nucleare diadica è messa in discussione. Pertanto, la
nuova realtà delle vulnerabilità cibernetiche e gli allettanti vantaggi che si possono ottenere attraverso le
operazioni cibernetiche hanno creato uno sviluppo senza precedenti nella guerra.

Recenti rapporti del Government Accountability Office (GAO) degli Stati Uniti e della Nuclear Threat Initiative
(NTI) hanno scoperto che anche i sistemi militari statunitensi, che includono componenti in rete necessari per
il funzionamento delle forze armate nucleari, sono vulnerabili agli attacchi digitali mediati elettronicamente. 23
Anche se, almeno negli stati tecnologicamente avanzati dotati di armi nucleari, i sistemi NC3 sono
completamente resistenti contro l'intrusione digitale, sarà più difficile mantenere questa impervia integrità
sistemica con aggiornamenti oltre le configurazioni analogiche originali alle nuove piattaforme digitali. Inoltre,
come evidenziato dal vasto elenco di potenziali exploit fornito dalla valutazione del GAO, l'intreccio dei sistemi
di pianificazione ed esecuzione nucleare e convenzionale suggerisce che, al fine di mantenere una postura di
allerta credibile, l'intelligence periferica, la sorveglianza e la ricognizione (ISR) le architetture devono essere
mantenute ad alti livelli di affidabilità. 24

Considerati su tutta la linea, i rischi sono rappresentati da aggiornamenti a NC3, sistemi C4ISR convenzionali
e nucleari intrecciati, vincoli di budget, difficoltà nel reclutare personale con competenze adeguate, inefficienze
inerenti a grandi burocrazie con giurisdizioni concorrenti, restrizioni sulla condivisione di informazioni tra
agenzie e progressi in corso di complessità coerente con il rapido progresso tecnologico. È in corso uno
sforzo per rinnovare i sistemi di armi nucleari per essere coerenti con le tecnologie all'avanguardia, che ora
includono l'autonomia e l'apprendimento automatico.

La suddetta combinazione di minacce alla deterrenza nucleare, comprese le crescenti minacce informatiche
derivanti dall'autonomia e dall'apprendimento automatico, richiede risposte politiche.

È probabile che la deterrenza sia insufficiente come risposta politica

Nell'ambito della stabilità strategica, può sembrare ragionevole affrontare una nuova minaccia, in questo caso
quella del cyber compromesso dei sistemi NC4ISR, con la deterrenza. Ciò è suggerito, ad esempio, nella US
Nuclear Posture Review del 2018, che presenta la minaccia di ritorsioni nucleari come deterrente contro gli
attacchi informatici.25 Tuttavia, la saggezza di questo approccio è discutibile.

Storicamente, la deterrenza non si è dimostrata efficace contro la raccolta di intelligence, operazioni speciali e
azioni segrete simili, a cui somigliano le operazioni informatiche.
Inoltre, l'aggiunta di un altro fattore scatenante per la risposta nucleare e l'escalation crea un ulteriore percorso
verso esiti catastrofici attraverso calcoli errati o falsi allarmi. Per le minacce informatiche, vi è una significativa
incertezza sulla capacità di un difensore di rilevare un attacco, identificarlo come un attacco e attribuirlo
correttamente.26 Pertanto, per affrontare le minacce discusse sopra, vengono prese in considerazione solo
risposte politiche diverse dalle nuove forme di deterrenza.

Risposte politiche unilaterali proposte

La prima classe di risposte politiche comprende azioni che uno Stato dotato di armi nucleari può intraprendere
unilateralmente per ridurre i rischi a cui è esposto dalle minacce digitali.
Rendendosi più sicuro, un tale stato aiuta anche a mantenere le relazioni di deterrenza che ha in essere. Nel
complesso, la conoscenza dei potenziali exploit e le misure per evitarli, rilevarli e affrontarli deve essere in atto
come con qualsiasi altro protocollo di sicurezza standard.
Secondo i rapporti del GAO, il Dipartimento della Difesa degli Stati Uniti sta solo iniziando a rendersi conto
della portata delle sue sfide di vulnerabilità informatica e il GAO non offre alcuna raccomandazione. 27
Attualmente mancano informazioni pubbliche sullo stato delle vulnerabilità cibernetiche in altri stati dotati di
armi nucleari. Tuttavia, è possibile identificare misure per affrontare le vulnerabilità dal dominio delle
tecnologie dell'informazione digitale, del calcolo e delle comunicazioni più in generale.

Le proposte politiche unilaterali sono esaminate nella tabella 13.1. Ci sono quattro punti chiave:

1. L'integrazione dei sistemi di tecnologia dell'informazione e della comunicazione

(TIC) nell'NC4ISR dovrebbe essere limitata. In particolare, dovrebbe essere evitata
l'introduzione dell'autonomia e dell'apprendimento automatico in questi sistemi. Ciò
dovrebbe riflettersi nelle politiche di approvvigionamento.

2. Gli stati dotati di armi nucleari dovrebbero essere consapevoli delle potenziali
minacce e intraprendere azioni proattive per rafforzare i sistemi, far rispettare i
protocolli di sicurezza, esercitare regolarmente e simulare attacchi.

3. Questi stati dovrebbero sviluppare la capacità di attribuzione, adottare procedure e

dottrine che aumentino i tempi di risposta e pianificare un rapido recupero dagli
attacchi.

4. Le buone pratiche dovrebbero essere codificate e ampiamente distribuite al personale

interessato. I protocolli di emergenza dovrebbero essere impostati, testati e applicati.

Tabella 13.1. Risposte politiche unilaterali per ridurre i rischi nucleari delle minacce informatiche
Obiettivi Proteggi (difesa in tempo di Rileva (risposta al sondaggio) Rispondi (risposta all'attacco)
pace)
Procedura decisionalea Protocolli rigorosi; Test di routine; simulazioni; Quarantena; attributo; valutare;
comunicazione sicura; capacità di attribuzione. neutralizzare; contatore;
aumentare il tempo di aggiornamento.
decisione; nessuna autonomia;
no ML.
NC3 Ridondanza; competenza; Monitoraggio; test; capacità di Quarantena; usa il backup;
approvvigionamento sicuro; attribuzione. protocollo; prendere tempo;
isolamento del sistema; attributo.
migliorare la sopravvivenza;
resilienza informatica; verificato
formalmente; garanzie
crittografiche; linee guida per
l'acquisizione; nessuna
autonomia; no ML; nessun
contratto esterno.
ISR nucleare Sensori ridondanti; fenomeni Come sopra. Quarantena; disaccoppiare;
diversi; fusione di intelligenza; usa il backup; protocollo;
nessuna autonomia; no ML; attributo; valutare;
nessun contratto esterno. neutralizzare; contatore;
aggiornamento.
ISR convenzionale Analisi costi benefici; Monitor (può usare ML); test a Come sopra.

Personale nucleare/militare
Opinione pubblica
Infrastrutture
Ricerca e sviluppo, test,
simulazione, manutenzione
ISR = intelligence, sorveglianza e ricognizione; ML = machine learning; NC3 = comando, controllo e comunicazioni nucleari.
a
Questi includono ad es. intelligence e valutazione delle crisi e sistemi di pianificazione nucleare.
valutazione completa del lungo termine; Capacità di
rischio; se impigliato, trattare attribuzione.
come nucleare.
Opportunità di carriera Rafforzamento della fiducia; Contatore; attributo; esporre;
competitiva; veterinario; controlli di routine; monitorare limitare.
formazione, consapevolezza (può usare ML); pratica
del rischio; protocolli per la attacchi; capacità di
protezione sul lavoro ea casa; attribuzione.
aiutare a mantenere la
sicurezza.
Formazione scolastica; stabilire Monitoraggio (può utilizzare Come sopra.
fiducia; informare sui rischi; ML); capacità di attribuzione;
collaborare con i media. controspionaggio.
Aggiornare le difese Migliorare gli standard del Valutare; rapporto; richiamare;
informatiche; utilizzare l'analisi settore; monitoraggio (può aggiornamento.
costi-benefici; valutazione del usare ML); test; capacità di
rischio per dare la priorità agli attribuzione.
asset di alto valore.
Linee guida per gli appalti; Supervisione; responsabilità; Valutare; contatore; attributo.
budget per la sicurezza; controspionaggio.
personale esperto, controllato
e stimato; ridondanza.

La raccomandazione contro l'introduzione dell'autonomia e dell'apprendimento automatico nei sistemi NC4ISR

dovrebbe essere evidenziata, con enfasi accentuata in relazione alla vicinanza di un componente al processo
decisionale critico o al comando e controllo.
Le proposte qui supportano la raccomandazione del rapporto NTI contro l'integrazione di queste capacità
digitali nell'infrastruttura tecnica necessaria per eseguire programmi di sicurezza nucleare. 28 Probabilmente ci
saranno sforzi per introdurre l'autonomia e l'apprendimento automatico nella ISR convenzionale. Tuttavia, a
causa dell'entanglement, è una precauzione ragionevole limitare severamente questi metodi o, come minimo,
eseguire un'analisi costi-benefici e una valutazione completa del rischio.

Queste precauzioni consentirebbero di prendere decisioni informate che riducono al minimo l'erosione della
credibilità della deterrenza e il conseguente rischio aggiuntivo di uso involontario di armi nucleari.

Risposte politiche proposte basate sul coordinamento

Coordinamento sul mancato utilizzo delle capacità cibernetiche contro i sistemi nucleari e il personale

Uno stato dotato di armi nucleari responsabile può rendersi conto che l'introduzione dell'autonomia e
dell'apprendimento automatico aumenterebbe probabilmente la propria vulnerabilità agli errori e alle
operazioni informatiche, e quindi può evitare unilateralmente di introdurre tali metodi nei sistemi NC3 e
NC4ISR. Tuttavia, non può impedire unilateralmente a un altro attore di utilizzare l'autonomia e
l'apprendimento automatico come strumenti che migliorano le operazioni informatiche e influenzano le
campagne. I due scenari presentati nella sezione I dimostrano come l'autonomia e l'apprendimento
automatico potrebbero essere strumenti potenzialmente utili nelle operazioni contro i sistemi digitali alla
periferia e contro gli individui e le comunità di civili (specialmente nelle società in rete densamente digitali).
È evidente che la sicurezza informatica rappresenta una grave sfida per la credibilità del deterrente nucleare
di un paese. È inoltre chiaro che impegnarsi in operazioni offensive contro altri stati eroderà necessariamente
la ridimensionabilità della loro deterrenza nucleare. Per mantenere la deterrenza nucleare e la stabilità
strategica, gli stati dovrebbero esercitare moderazione astenendosi da operazioni cibernetiche contro i sistemi
e il personale di armi nucleari di tutti gli altri stati (cioè campagne di informazione ampiamente mirate che
potrebbero influenzare la deterrenza nucleare) e dovrebbero sforzarsi di stabilire norme e istituzioni che
vietino tali Azioni.

La costosa vigilanza e il riconoscimento del fatto che i sistemi computerizzati non possono essere sicuri al
100% non è esclusivo della sicurezza militare nucleare o convenzionale. Questo è un problema affrontato su
tutta la linea nei sistemi digitali densamente collegati in rete che gestiscono finanza e banche, comunicazioni,
traffico aereo e marittimo e organizzazioni sanitarie. 29 Tuttavia, il livello di capacità distruttiva e rischio
esistenziale è più alto per i sistemi NC3 e NC4ISR. Anche se gli attacchi nel dominio nucleare possono essere
molto più costosi da eseguire per l'attaccante rispetto ad altri domini, non sono al di là delle risorse disponibili
per gli stati, compresi potenzialmente stati non dotati di armi nucleari con tecnologia avanzata. 30 Supponendo
che l'obiettivo principale degli stati dotati di armi nucleari nel mantenere la deterrenza nucleare sia la stabilità e
la sicurezza - che è contraddetta dalla guerra nucleare con un rischio intrinseco percettibile di escalation -
allora non importa quanto possa sembrare allettante interrompere il nucleare di uno stato dotato di armi
nucleari. comando e controllo e sistemi correlati, tale azione mette a rischio la sicurezza di tutti.

Dato l'interesse comune nel mantenere la stabilità e nell'evitare la guerra nucleare, tutti gli stati e le
popolazioni mondiali trarranno vantaggio dai vincoli contro l'avvio di campagne offensive contro i sistemi di
informazione militare e il personale. Anche all'interno delle società civili che sono in rete e globalizzate
utilizzando piattaforme digitali che non riconoscono confini nazionali, c'è un vantaggio collettivo nel mantenere
i cyber commons che si basano sulla cooperazione e sullo sviluppo di norme contro gli attacchi informatici. Ciò
è ancora più potente se si considera la potenziale armatura dell'autonomia e dell'apprendimento automatico
come moltiplicatore di forza per le operazioni informatiche e le campagne di influenza, e la necessità di norme
per prevenire tale armamento. Gli stati dotati di armi nucleari condividono un interesse comune nello sviluppo
di tre norme fondamentali: (a) raggiungere le migliori pratiche per mantenere la sicurezza dei propri sistemi
NC3 e NC4ISR, (b) denunciare e astenersi dal condurre azioni informatiche offensive e (c) limitare l'arma
dell'autonomia e dell'apprendimento automatico, specialmente nei domini della guerra informatica e
dell'informazione. Queste limitazioni dovrebbero estendersi oltre il dominio nucleare o militare immediato,
poiché tecniche e metodi possono essere facilmente trasferiti da un dominio all'altro.

Sembra ovvio sviluppare queste norme cooperative tra gli alleati, almeno quelli intorno al non utilizzo, perché
l'alleanza e la collaborazione sono contraddette dal rilevare le vulnerabilità informatiche degli altri senza
condividere tali informazioni o con l'intento di sfruttare eventualmente quelle debolezze.
Tuttavia, nel complesso il rischio aggiuntivo rappresentato dall'indebolimento della deterrenza nucleare
minaccia la sicurezza di tutti. Esiste quindi un caso plausibile per coordinare gli sforzi per prevenire lo sviluppo
di capacità cyber offensive (in particolare strumenti altamente efficaci che si basano sull'autonomia e
sull'apprendimento automatico), non solo con gli stati alleati ma anche potenzialmente con quelli i cui interessi
sono solo parzialmente allineati al meglio. Ad esempio, sebbene Cina, Russia e Stati Uniti non abbiano gli
stessi interessi geopolitici o economici, nessuno trarrebbe vantaggio da un conflitto nucleare.

Coordinamento per una maggiore sicurezza e migliori pratiche in NC4ISR

Oltre al coordinamento per ridurre al minimo l'uso offensivo delle capacità cibernetiche (comprese quelle
basate sull'autonomia e sull'apprendimento automatico), potrebbe anche essere possibile e necessario che gli
stati dotati di armi nucleari si coordinino per aumentare le difese informatiche, attraverso la condivisione di
informazioni sulle migliori pratiche e relative tecnologie difensive. Anche nonostante l'impossibilità di
raggiungere il 100% di sicurezza nel mondo contemporaneo del calcolo avanzato, è possibile apportare
miglioramenti significativi per aumentare il costo di un presunto aggressore, a volte (ad esempio tramite mezzi
crittografici) a livelli che rendono alcuni attacchi impossibili nella pratica.

Dato che, ad esempio, sono gli Stati Uniti che potrebbero perdere di più se alcuni aspetti del sistema di
comando e controllo nucleare della Russia non funzionassero, a causa di un bug interno o di un attacco
dannoso, allora gli Stati Uniti trarrebbero vantaggio se l'NC3 e I sistemi NC4ISR sono tecnicamente e
proceduralmente all'altezza dello standard internazionale delle migliori pratiche di sicurezza informatica. Ciò è
particolarmente vero di fronte a minacce elevate da una gamma più ampia di attori, assistita dalla
proliferazione facile e rapida di tecniche di autonomia armabile e di apprendimento automatico nel dominio
cibernetico.31

L'interesse condiviso nel mantenere uno status di deterrenza nucleare credibile incoraggia quindi le norme a
realizzare le migliori pratiche di sicurezza informatica, che includono l'eliminazione dell'integrazione
dell'autonomia e dell'apprendimento automatico nei sistemi NC3 e NC4ISR e la condivisione di piattaforme
digitali sicure.

III. Conclusioni

L'introduzione dell'autonomia e dell'apprendimento automatico attualmente non può essere raggiunta senza
introdurre nuove vulnerabilità che minano lo stato di allerta sempre/mai e la credibilità della deterrenza
nucleare. Pertanto, la loro integrazione nei sistemi NC3 e NC4ISR dovrebbe essere evitata, ad esempio
attraverso linee guida rigorose incorporate nelle politiche di approvvigionamento.

Oltre all'azione unilaterale che può essere intrapresa dagli Stati dotati di armi nucleari per ridurre le
vulnerabilità e prepararsi agli attacchi, un secondo metodo per non aumentare il rischio esistenziale già
rappresentato da una guerra nucleare intenzionale, involontaria o accidentale è quello di sviluppare e
istituzionalizzare norme e meccanismi di coordinamento internazionali. Ci sono tre domini di particolare
rilevanza: (a) stabilire una norma internazionale che proibisca di prendere di mira i sistemi NC4ISR e il
personale delle armi nucleari, (b) promuovere una norma contro l'arma dell'autonomia e dell'apprendimento
automatico, specialmente nei domini degli attacchi informatici e delle campagne di influenza, e (c) condividere
le migliori pratiche in materia di sicurezza informatica e le difese informatiche tra gli stati dotati di armi nucleari,
inclusa la migliore pratica di non integrare l'autonomia e l'apprendimento automatico nei sistemi NC4ISR.
1. Per una stima vedere ad es. Barrett, A. M., Baum, S. D. e Hostetler, K., "Analizzando e riducendo i rischi di una guerra
nucleare involontaria tra gli Stati Uniti e la Russia", Science & Global Security, vol. 21, n. 2 (2013), pagg. 106–33, pagg. 120.
2. Thompson, N., "Inside the apocalyptic Soviet doomsday machine", Wired, 21 settembre 2009; e "" Macchina del giorno del
giudizio ": la nuova arma russa, secondo quanto riferito, ottiene una testata nucleare", Sputnik, 17 maggio 2018. Vedi anche
gli altri capitoli, in particolare i capitoli 5-11 e 14, in questo volume.
3. Dipartimento della difesa degli Stati Uniti (DOD), Criteri di valutazione dei sistemi informatici affidabili del Dipartimento della
difesa, DOD Standard 5200.28-STD (DOD: Washington, DC, 26 dicembre 1985), p. 116.
4. Anderson, R., Security Engineering: A Guide to Building D31. Brundage et al. (nota 13).ependable Distributed Systems, 2nd
edn (Wiley: Indianapolis, IN, 2008), capitolo 26.
5. Saltzer, J. H. e Schroeder, M. D., "The protection of information in computer systems", Proceedings of the IEEE, vol. 63, n.
9 (settembre 1975), pagg. 1278-308.
6. Barreno, M. et al., "The security of machine learning", Machine Learning, vol. 81, n. 2 (novembre 2010), 121–48.
7. Szegedy, C. et al., "Proprietà intriganti delle reti neurali", arXiv, 1312.6199, versione 4, 19 febbraio 2014.
8. Geist, E. e Lohn, A. J., In che modo l'intelligenza artificiale può influire sul rischio di una guerra nucleare? (Rand
Corporation: Santa Monica, CA, 2018), p. 10.
9. Sui sistemi di consegna vedere US Government Accountability Office (GAO), Weapon Systems Cybersecurity: DOD Just
Beginning to Grapple with Scale of Vulnerabilities, GAO-19-128 (GAO: Washington, DC, 9 ottobre 2018). Su NC3 vedi
Anderson (nota 4), capitolo 13. Su questi temi vedi anche i capitoli 6-11 e 14 in questo volume.
10. Sulla vulnerabilità del machine learning agli attacchi informatici come ostacolo alla sua adozione in ambito militare si
vedano anche i capitoli 4 e 7 di questo volume.
11. Per un'esplorazione approfondita di questo, vedere Futter, A., Hacking the Bomb: Cyber Threats and Nuclear Weapons
(Georgetown University Press: Washington, DC, 2018).
12. Acton, J. M., "Escalation through entanglement: come la vulnerabilità dei sistemi di comando e controllo solleva i rischi di
una guerra nucleare involontaria", International Security, vol. 43, n. 1 (estate 2018), pagg. 56–99.
13. Sul potenziale utilizzo dell'apprendimento automatico negli attacchi si veda Brundage, M. et al., The Malicious Use of
Artificial Intelligence: Forecasting, Prevention and Mitigation (Future of Humanity Institute et al .: Oxford, febbraio 2018).
14. Sanger, D. E., The Perfect Weapon: War, Sabotage, and Fear in the Cyber Age (Corona: New York, 2018).
15. Ad esempio Robertson, J. e Riley, M., "The big hack: come la Cina ha utilizzato un piccolo chip per infiltrarsi nelle aziende
statunitensi", Bloomberg Businessweek, 4 ottobre 2018.
16. Jon B. e Rich T., "A day in the life of an NCSC vulnerability researcher", British National Cyber Security Center, 17
novembre 2017.
17. Sutton, M., Greene, A. e Amini, P., Fuzzing: Brute Force Vulnerability Discovery (Pearson Education: Upper Saddle River,
NJ, 2007).
18. Lin, H. e Kerr, J., "On cyber-enabled information / influenza warfare and manipulation", 8 agosto 2017, che apparirà
nell'Oxford Handbook of Cybersecurity (Oxford University Press: Oxford, di prossima pubblicazione).
19. Kosinski, M. et al., "Estrazione di big data per estrarre modelli e prevedere i risultati della vita reale", Psychological
Methods, vol. 21, n. 4 (dicembre 2016), pagg. 493–506.
20. Cai, H. et al., "Offerta in tempo reale mediante apprendimento per rinforzo nella pubblicità display", Atti della decima
conferenza internazionale ACM sulla ricerca sul Web e il data mining (Association for Computing Machinery (ACM): New York,
2017) , pagg. 661–70.
21. Suwajanakorn, S., Seitz, S. M. e Kemelmacher-Shlizerman, I., "Synthesizing Obama: learning lip sync from audio", ACM
Transactions on Graphics, vol. 36, n. 4 (2017), articolo n. 95. Sui GAN vedere anche il capitolo 2 in questo volume. Sull'uso
dannoso dei deepfake vedere anche il capitolo 10 di questo volume.
22. Rössler, A. et al., "FaceForensics: a large-scale video dataset for forgery detection in human faces", arXiv, 1803.09179, 24
marzo 2018.
23. US Government Accountability Office (nota 9), pag. 30; e Stoutland, P.O. e Pitts-Kiefer, S., Nuclear Weapons in the New
Cyber Age, Report of the Cyber-Nuclear Weapons Study Group (Nuclear Threat Initiative: Washington, DC, settembre 2018).
24. Acton (nota 12).
25. Dipartimento della Difesa degli Stati Uniti (DOD), Nuclear Posture Review (DOD: Washington, DC, febbraio 2018).
26. Lindsay, J. R., "Restrained by design: l'economia politica della sicurezza informatica", Digital Policy, Regulation and
Governance, vol. 19, no. 6 (2017), pagg. 493-514.
27. US Government Accountability Office (nota 9), prefazione.
28. Stoutland e Pitts-Kiefer (nota 23), p. 8.
29. US Government Accountability Office (nota 9), pag. 30; e Lindsay, J. R., "Tipping the scale: the attribution problem and the
featibility of deterrence against cyberattack", Journal of Cybersecurity, vol. 11, n. 1 (settembre 2015), pagg. 53–67.
30. Slayton, R., 'Qual è l'equilibrio tra attacco informatico e difesa? Concezioni, cause e valutazione ", International Security,
vol. 41, n. 3 (inverno 2016/2017), pagg. 72–109.
31. Brundage et al. (nota 13).
14. Mitigare le sfide del rischio nucleare garantendo al contempo i
vantaggi della tecnologia

Anja Kaspersen e Chris King *

Nell'esaminare il nesso tra innovazioni tecnologiche come l'intelligenza artificiale (AI) e il rischio nucleare, è
importante tenere a mente alcuni avvertimenti.

Il primo è evitare di essere troppo allarmisti o troppo speculativi.

Il secondo è riconoscere che l'ordine nucleare è ora multipolare. Il binario nucleare Est contro Ovest si è
esteso alle rivalità nucleari regionali e persino ai triangoli strategici. Le tecnologie emergenti probabilmente
influenzeranno ciascuna di queste relazioni in modo diverso e dipenderanno da una varietà di fattori. Questi
includono la vicinanza geografica, le dimensioni e la sofisticazione dell'arsenale, la maturità della relazione
strategica e la simmetria o asimmetria tecnologica.
Il terzo avvertimento è la questione della convergenza tecnologica. A differenza di qualsiasi precedente
rivoluzione tecnologica, le innovazioni si sovrappongono come mai prima d'ora, aumentando ulteriormente
l'incertezza. Le due tecnologie abilitanti delle capacità cyber e dell'IA si distinguono come esempi particolari.

Quel che è certo è che le innovazioni tecnologiche dall'intelligenza artificiale alle capacità cibernetiche e alle
armi ipersoniche si stanno facendo strada nelle dottrine e piattaforme di difesa e sicurezza. Come ha
affermato il Segretario generale delle Nazioni Unite, António Guterres, l'avvento di armi potenzialmente
destabilizzanti sarebbe “preoccupante anche nell'ambiente di sicurezza più favorevole”, figuriamoci in uno
caratterizzato da sfiducia, deterioramento delle relazioni ed erosione degli strumenti di controllo degli
armamenti e dove “le soluzioni militari potrebbero avere la precedenza sul dialogo e sulla diplomazia”. 1
Piuttosto che aspettare una dimostrazione delle sfide poste dalla tecnologia, i responsabili politici devono
essere attivamente coinvolti ora. Capire come gli sviluppi tecnologici possono aumentare il rischio nucleare è
vitale per preservare la norma di sette decenni contro l'uso di armi nucleari. Tuttavia, allo stesso modo, spetta
anche ai responsabili politici essere attenti alle possibilità di perturbazioni tecnologiche positive, comprese
quelle che creeranno spazio per nuovi approcci al disarmo e alla non proliferazione, come garanzie e verifiche
rafforzate.

Questo saggio esamina come gli stati possono lavorare insieme e con nuovi e vecchi partner per affrontare le
lacune di governance e per massimizzare le opportunità che le tecnologie presentano per rendere il mondo
più sicuro e protetto. Inizia nella sezione I mappando i potenziali impatti dell'innovazione tecnologica sui rischi
nucleari e considerando come ridurre tali rischi. Nella sezione II valuta poi i modi in cui è possibile governare i
rischi posti dall'innovazione tecnologica. Infine, nella sezione III vengono considerati i modi in cui
l'apprendimento automatico e altre tecnologie possono essere sfruttate per supportare la conformità nucleare
e i regimi di verifica.

* Le opinioni espresse in questo articolo sono quelle degli autori e non riflettono la politica
o la posizione ufficiale delle Nazioni Unite.
I. Potenziali impatti dell'innovazione tecnologica sul rischio nucleare

Come punto di partenza, vale la pena toccare brevemente alcuni dei modi in cui le tecnologie emergenti
potrebbero aumentare i rischi nucleari. Le misure per mantenere la norma contro l'uso di armi nucleari sono
fondate su varie intese interconnesse emerse dalla guerra fredda. Questi includono l'accettazione della
reciproca vulnerabilità; che armi nucleari più nuove e più capaci minano, non rafforzano, la stabilità; e quella
riduzione del rischio che crea fiducia può migliorare le prospettive di pace e sicurezza internazionali. Le recenti
innovazioni tecnologiche hanno il potenziale per minare queste comprensioni. 2

Vulnerabilità reciproca

La vulnerabilità reciproca si basa sulla consapevolezza che, indipendentemente dalla forza della capacità di
attacco al primo colpo di uno Stato dotato di armi nucleari, i suoi oppositori con armi nucleari saranno in grado
di infliggere risposte devastanti. Le capacità avanzate di intelligence, sorveglianza e ricognizione (ISR) guidate
dalle tecnologie emergenti potrebbero minare questo concetto. È stato ipotizzato, ad esempio, che le
tecnologie autonome potrebbero esporre capacità di secondo attacco come i sottomarini con missili balistici a
propulsione nucleare (SSBN) oi missili mobili da strada. 3
Ad esempio, i veicoli aerei senza pilota (UAV) a lungo raggio e autonomi che utilizzano tecnologie di sciame
per consentire il monitoraggio costante in tempo reale, insieme alla capacità di elaborare rapidamente grandi
quantità di dati utilizzando l'apprendimento automatico, potrebbero facilitare il tracciamento di questi
precedentemente nascosti forze nucleari.4

Qualsiasi conflitto futuro tra attori ragionevolmente avanzati includerà probabilmente una componente
informatica poiché ciascuna parte tenterà di distruggere, interrompere o confondere i sensori, le comunicazioni
e i circuiti decisionali nemici. La dimensione cibernetica della guerra futura avrà un impatto considerevole sulle
relazioni e dottrine nucleari globali. L'introduzione di concetti come la cosiddetta difesa missilistica a sinistra
del lancio potrebbe creare preoccupanti ambiguità sulla cyber prelazione, aumentare la percezione di
deterrenti trasformati e indeboliti e spingere gli stati verso la mentalità del “usalo o perdi”.

I problemi spesso associati a capacità cibernetiche offensive e le vulnerabilità, come la durata di

conservazione degli exploit, l'attribuzione tempestiva e una risposta appropriata, assumono un peso ancora
maggiore con l'aggiunta di conseguenze nucleari.
In questo contesto, anche la percezione della vulnerabilità e della modernizzazione nucleare può aumentare la
percezione dei rischi.5

I nuovi sistemi d'arma non solo aumentano i rischi esistenti, ma introducono anche nuove
vulnerabilità

Strettamente legata all'accettazione della reciproca vulnerabilità è la comprensione che armi nucleari più
capaci non forniscono alcun vantaggio reale nel superare detta vulnerabilità. L'avvento di nuove tecnologie in
grado di aumentare la velocità, la furtività, la precisione e la manovrabilità delle armi nucleari sembra aver
invertito questa comprensione con conseguenze potenzialmente pericolose. 6
Ad esempio, l'uso dell'apprendimento automatico e delle tecnologie autonome in sistemi e piattaforme
convenzionali potrebbe comportare risposte armate ingiustificate e perdita di controllo, portando a
un'escalation involontaria.7 In futuro, la crescita del volume dei dati e della capacità di aumentare la velocità
della guerra, portando a cicli decisionali sempre più compressi e una crescente pressione sui comandanti
umani. L'interfaccia per il processo decisionale uomo-macchina è una preoccupazione chiave per la possibile
armamento dell'IA. Questa preoccupazione si riflette nei dibattiti in corso presso le Nazioni Unite a Ginevra,
anche nel gruppo di esperti governativi sulle tecnologie emergenti nel settore dei sistemi d'arma autonomi
letali (LAWS) sotto l'egida della Convenzione del 1980 su alcune armi convenzionali (Convenzione CCW). 8

In una nebbia di guerra sempre più densa, la paura di perdere rapidamente potrebbe creare incentivi per
risposte rapide, comprese le risposte nucleari, aumentando le possibilità di errori di calcolo. 9

La ricerca di armi più veloci, più intelligenti, più accurate e più versatili potrebbe portare a destabilizzanti corse
agli armamenti. In un mondo con una tecnologia militare asimmetrica, gli stati dotati di armi nucleari
potrebbero aggrapparsi più strettamente ai loro arsenali e gli stati tecnologicamente svantaggiati potrebbero
cercare di acquisire armi nucleari come deterrente più realizzabile.
Nuovi tipi di tecnologia delle armi creano anche nuove vulnerabilità. È possibile che i sistemi autonomi
possano essere soggetti a pirateria informatica e spoofing, possibilmente da parte di terzi, e si teme che tali
sistemi possano agire in modi inaspettati. 10
L'aggiunta di autonomia, ad esempio, ai veicoli di consegna nucleare, come è stato ipotizzato nel veicolo
sottomarino senza pilota Poseidon (noto anche come Status-6) e forse il bombardiere strategico B-21 Raider,
potrebbe renderli più vulnerabili, il che li minerebbe la loro prevedibilità, aumentano le possibilità di errori di
calcolo e diminuiscono la stabilità. 11

La sfida degli attori non statali maliziosi è particolarmente acuta a questo riguardo.
Gli attuali regimi di controllo degli armamenti presumono che le principali minacce provengano dagli stati.
Questo è stato vero per la maggior parte della storia perché la capacità di provocare distruzioni su vasta scala
ha tipicamente richiesto un esercito e, di solito, un ampio budget di ricerca e sviluppo. Tuttavia, la capacità
distruttiva è in procinto di essere democratizzata, grazie alla dispersione senza precedenti di capacità e
competenze tecnologiche.
Per quanto riguarda la prevedibilità, anche i sistemi autonomi basati sull'apprendimento automatico che
raggiungono alti tassi di accuratezza nei dati di addestramento per valutare la migliore linea d'azione possono
produrre risultati e comportamenti inaspettati. 12 Tali risultati in questo contesto potrebbero includere un veicolo
di consegna nucleare autonomo che non può essere richiamato una volta dispiegato.

Riduzione del rischio

La riduzione del rischio nucleare durante e dopo la guerra fredda è stata ottenuta attraverso la costruzione
scrupolosa di una rete di sicurezza intrecciata di iniziative politiche, misure di trasparenza e rafforzamento
della fiducia e trattati e strumenti legalmente vincolanti. Dalle hotline alle notifiche di lancio, alle politiche
dichiarative e agli impegni di non utilizzo, a misure di stabilizzazione come il Trattato sui missili anti-balistici
sovietici (Trattato ABM) del 1972 e il Trattato sugli Stati Uniti e Unione Sovietica del 1987 sull'eliminazione del
raggio intermedio e più breve-Range Missiles (Trattato INF), la rete di misure di riduzione del rischio ha
contribuito a garantire che la norma contro l'uso di armi nucleari rimanesse forte. 13
Sfortunatamente, la suite di tecnologie emergenti con implicazioni per la pace e la sicurezza internazionali
deve ancora sviluppare una tale rete di sicurezza, principalmente perché la comprensione dell'impatto di molte
di queste tecnologie è ancora nascente. Ci sono già deliberazioni interstatali su armi autonome e sicurezza
informatica ma, sebbene siano state discusse alcune importanti intese normative, queste deliberazioni devono
ancora produrre qualcosa di vincolante e potrebbero non farlo per qualche tempo. 14

Parallelamente, l'attuale rete di sicurezza contro il rischio nucleare viene erosa a causa della scomparsa dei
baluardi del quadro di controllo degli armamenti come il trattato INF. Tuttavia, i problemi legati al nesso tra
rischio nucleare e tecnologie emergenti permeano a malapena i forum nucleari rilevanti. Le conversazioni sulla
riduzione del rischio in forum come la Commissione per il disarmo delle Nazioni Unite o il ciclo di revisione del
Trattato di non proliferazione (NPT) del 1968 sono limitate ai riferimenti alle vulnerabilità cibernetiche. 15
Come affrontare i nuovi rischi nucleari posti dall'innovazione tecnologica pone domande significative. I divari di
governance si stanno allargando man mano che le tecnologie si diffondono e convergono in modi che
complicano ulteriormente la capacità degli stati e dei regimi internazionali di imporre il controllo.

II. Governare i rischi posti dall'innovazione tecnologica

L'unico modo per eliminare i rischi posti dalle armi nucleari è eliminare le armi nucleari. Tuttavia, la ricerca di
un mondo libero dalle armi nucleari richiederà un'ampia gamma di risposte, comprese quelle necessarie per
ridurre i pericoli posti da questo nesso di armi e tecnologia nucleari. Alcuni di questi possono essere trovati nei
meccanismi esistenti, ma alcuni potrebbero richiedere nuovi approcci.

Riunire coalizioni di partner non tradizionali per esplorare i rischi

Considerati gli attuali livelli di incertezza, un primo passo potrebbe essere quello di sviluppare una migliore
comprensione dei rischi. Per fare ciò è necessario riunire coalizioni di partner non tradizionali, dagli stati e dai
loro eserciti attraverso le organizzazioni intergovernative alla società civile, al mondo accademico e
all'industria. L'ultimo di questi - l'industria - è sempre più necessario in quanto include i progenitori di gran
parte della tecnologia rilevante. In questo contesto, l'ONU, con il suo potere di convocazione universale, può
svolgere un ruolo significativo nel fornire la piattaforma richiesta per facilitare le conversazioni e la
condivisione delle conoscenze.

Tali partner non tradizionali dovrebbero inoltre contribuire a forum multilaterali selezionati in qualità di esperti.
La Conferenza sul disarmo ha mostrato come la società civile, gli esperti in materia tecnica, l'industria e la
comunità di ricerca possano essere incorporati nelle discussioni informali, ma questa iniziativa deve essere
potenziata e replicata, anche nel Primo Comitato dell'Assemblea Generale delle Nazioni Unite, che si occupa
questioni di sicurezza internazionale e disarmo.

L'incorporazione di professionisti nel sistema multilaterale (ad esempio in veri organi di esperti) aggiungerà un
elemento di competenza tecnica imparziale alle deliberazioni su queste questioni. Lo scambio, l'interazione e
l'istruzione incrociata sono necessari per un efficace sviluppo delle politiche.
Tale interazione fornirebbe anche opportunità per migliorare la comunicazione, stabilire un vocabolario
comune, costruire ponti, evitare ridondanze, distruggere silos, aumentare la reattività e la proattività e
identificare i potenziali impatti della tecnologia emergente con tempo sufficiente per sviluppare risposte
ponderate.
Tuttavia, le società, le start-up e le università che lavorano sulle tecnologie emergenti non devono aspettare gli
inviti ai simposi appoggiati dal governo o dalle Nazioni Unite.

Includere i rischi basati sulla tecnologia come parte degli sforzi di riduzione del rischio nucleare

L'attuale contesto di sicurezza in deterioramento ha dato luogo a un crescente sostegno per misure urgenti di
riduzione del rischio nucleare. L'inclusione di rischi basati sulla tecnologia deve far parte di qualsiasi
deliberazione. Ciò dovrebbe includere il processo di revisione del TNP, la pietra angolare del regime di non
proliferazione nucleare e disarmo, in cui sono già in corso discussioni su minacce, rischi e opportunità. 16 Gli
Stati parti del TNP dovrebbero considerare come includere misure per mitigare queste nuove rischi in qualsiasi
risultato della conferenza di revisione del TNP del 2020.

Allo stesso modo, quegli organismi istituiti per affrontare le implicazioni di pace e sicurezza delle tecnologie
emergenti, come i pertinenti gruppi di esperti governativi delle Nazioni Unite, potrebbero prendere in
considerazione questo nesso.

Idealmente, queste varie conversazioni porterebbero inizialmente allo sviluppo di misure di rafforzamento della
fiducia politicamente vincolanti a breve termine (ad es. Maggiore trasparenza su come le tecnologie vengono
incorporate nelle dottrine militari e di sicurezza) e accordi per non interferire con le strutture di comando e
controllo o testare o implementare nuove capacità destabilizzanti.
I trattati hanno tradizionalmente governato il dominio della sicurezza, ma rischiano di essere superati dal
cambiamento tecnologico. I progressi della scienza e della tecnologia, in particolare quelli con un potenziale
dirompente, non aspetteranno i lunghi tempi necessari per i negoziati e le ratifiche multilaterali.

Soft law e autoregolamentazione per l'innovazione responsabile

Quando si tratta di stare al passo con la tecnologia, potrebbero essere utili approcci "soft" o basati su standard
di autoregolamentazione. Questi potrebbero includere lo sviluppo di codici di condotta o principi applicabili allo
sviluppo di tecnologie nuove e potenzialmente destabilizzanti. Forse la cosa più importante è che dovrebbero
includere una migliore comprensione della questione della previsione, ovvero la capacità di considerare modi
plausibili in cui una tecnologia, un sistema o una funzionalità potrebbe essere utilizzata, non solo come
dovrebbe essere o dovrebbe essere utilizzata. L'innovazione responsabile deve essere accompagnata da
rimedi lungimiranti. Le misure per diffondere e condividere la conoscenza e per costruire comunità di pratica
forti, diversificate e interdisciplinari per impollinare in modo incrociato intuizioni ed esperienze contribuiranno a
garantire che l'innovazione sia guidata dalla valutazione del rischio sin dall'inizio.

Un altro passo a breve termine dovrebbe essere quello di utilizzare la comunità di ricerca per esaminare gli
impatti potenzialmente benefici della tecnologia sulla pace e la sicurezza internazionali. La creazione di organi
di consulenza tecnica in organi di deliberazione multilaterale e organizzazioni internazionali, ad esempio,
aiuterebbe i responsabili politici a sfruttare meglio le competenze e comprendere i vantaggi delle nuove
tecnologie (come il Comitato consultivo scientifico dell'Organizzazione per la proibizione delle armi chimiche e
le varie gruppi di esperti scientifici convocati durante la negoziazione del trattato sul divieto totale di test
nucleari del 1996). Nello stesso modo in cui queste innovazioni possono aumentare la qualità e la precisione
delle armi, così possono anche migliorare il set di strumenti disponibili per facilitarne l'eliminazione.
III. Utilizzo di tecnologie di machine learning e di registro distribuito per supportare
la conformità e i regimi di verifica

Verifica del disarmo nucleare

La verifica e la conformità sono spesso citate come sfide principali per gli sforzi di disarmo e non
proliferazione. Gli algoritmi di apprendimento automatico basati sui dati e le tecnologie e i sistemi basati
sull'intelligenza artificiale potrebbero consentire nuove scoperte nei regimi di conformità e verifica.

Le tecnologie basate sull'intelligenza artificiale consentiranno agli stati di consumare e analizzare grandi
quantità di informazioni, mentre le comunicazioni in rete globali consentiranno la trasmissione in tempo reale,
aumentando la fiducia tra i partner. Sebbene l'adozione della blockchain e di altre tecnologie di registro
distribuito (DLT) sia ancora nascente, anche la varietà di possibili applicazioni, incluso nel campo del controllo
e della verifica degli armamenti, sta suscitando interesse. 17 Le DLT potrebbero aiutare a proteggere i dati e allo
stesso tempo rendere è più trasparente. I progressi nel software di riconoscimento delle immagini insieme alla
crescente disponibilità e qualità delle immagini satellitari potrebbero consentire a più attori di impegnarsi in
attività di verifica.18 Ciò consentirebbe efficacemente il crowdsourcing di quello che una volta era il dominio di
stati tecnologicamente sofisticati.
È necessario molto più lavoro per esaminare i potenziali benefici che le nuove tecnologie potrebbero avere per
la verifica del disarmo nucleare.

Prevenire l'approvvigionamento illecito di armi di distruzione di massa

La tecnologia blockchain ha anche il potenziale, se le attuali sfide normative vengono superate, di contribuire
a misure migliori per controllare le acquisizioni relative ai programmi di armi di distruzione di massa. Ciò
contribuirebbe a prevenire l'approvvigionamento illecito di beni e tecnologie stabilendo solide misure di
controllo dal lato dell'offerta per garantire la verifica dell'utente finale e prevenire le frodi all'esportazione.
Le informazioni chiave per le merci controllate, come i numeri di classificazione del controllo delle
esportazioni, gli utenti finali e altre informazioni sulle licenze, potrebbero essere incluse nella blockchain, che
sarebbe visibile a tutte le parti autorizzate. Ciò renderebbe più difficile per le parti non autorizzate ottenere e
deviare in modo fraudolento merci controllate dalle esportazioni. 19

Monitoraggio dei test nucleari

Un promettente programma di ricerca guidato dall'Università della California, Berkeley, ha applicato

l'apprendimento automatico per condurre il monitoraggio sismico per i test nucleari. Come notano i ricercatori,

Mettere il monitoraggio su una solida base probabilistica facilita anche ulteriori

miglioramenti come la stima continua delle condizioni di rumore locale, del tempo di
viaggio e dei modelli di attenuazione senza la necessità di esperimenti di calibrazione
della verità del suolo (esplosioni controllate). Inoltre, facilita un approccio open source,
in base al quale vari gruppi di esperti possono ideare e testare componenti del modello
più raffinati e accurati e fornirli come moduli in un'architettura probabilistica aperta.20
Un tale approccio integrerebbe gli sforzi esistenti dell'Organizzazione del trattato per la messa al bando totale
dei test nucleari (CTBTO) per utilizzare l'apprendimento automatico nel suo sistema di monitoraggio
internazionale.21

In un altro esempio, nel 2018 l'Università di Tokyo ha lanciato uno strumento per prevedere la direzione della
dispersione del materiale radioattivo. I ricercatori hanno utilizzato l'apprendimento automatico e metodi
computazionali per eseguire simulazioni meteorologiche e analisi di set di dati delle condizioni del vento vicino
alla superficie. La ricerca ha dimostrato un tasso medio di successo dell'85% ed è stata in grado di prevedere
le condizioni fino a 33 ore in anticipo. 22

IV. Conclusioni

Le sfide poste dal nesso rischio nucleare-innovazione tecnologica, comprese le sfide di governance, sono
tanto scoraggianti quanto urgenti. Tuttavia, come mostrato sopra, non dovrebbero essere insormontabili se le
scoperte tecnologiche sono bilanciate mentre si sfruttano adeguatamente le nuove tecnologie pertinenti per
migliorare i rischi nucleari nuovi e vecchi.
Ciò che è necessario ora è che i responsabili politici e gli sviluppatori interagiscano con un nuovo cast di attori
al fine di esplorare i rischi e le opportunità e mitigare i primi sfruttando i secondi.

1. Segretario generale delle Nazioni Unite, "Osservazioni del Segretario generale alla tavola rotonda sulla sicurezza di Turtle
Bay: gestione delle frontiere della tecnologia", 23 marzo 2018.
2. Futter, A., Hacking the Bomb: Cyber Threats and Nuclear Weapons (Georgetown University Press: Washington, DC, 2018).
3. Questo scenario è discusso in maggiore dettaglio nei capitoli 6, 10 e 11 di questo volume.
4. Vedi ad es. Hambling, D., "La rete ineludibile: sistemi senza pilota nella guerra anti-sottomarino", Briefing parlamentare
British-American Security Information Council (BASIC) su Trident Renewal no. 1, marzo 2016. Il termine "senza pilota" è qui
utilizzato per coerenza con il resto di questo volume. Un termine migliore e non di genere sarebbe "disabitato" o "disabitato".
5. Vedi ad es. Lin, H. e Zegart A. (a cura di), Bombs, Bytes and Spies: The Strategic Dimensions of Offensive Cyber
Operations (Brookings Institution: Washington, DC, 2019).
6. Vedi ad es. Kristensen, H. M., McKinzie, M. e Postol, T. A., "How US Nuclear Force Modernization sta minando la stabilità
strategica: the burst-height compensating super-fuze", Bulletin of the Atomic Scientists, 1 marzo 2017.
7. Questa possibilità è discussa in maggior dettaglio nei capitoli 9 e 10 di questo volume.
8. Ad esempio Gruppo di esperti governativi delle parti della Convenzione CCW, Rapporto della sessione 2018 del gruppo di
esperti governativi sulle tecnologie emergenti nel settore dei sistemi d'arma autonomi letali, CCW / GGE.1 / 2018/3, 23 ottobre
2018; e la Convenzione sui divieti o le restrizioni all'uso di alcune armi convenzionali che possono essere considerate
eccessivamente dannose o aventi effetti indiscriminati (Convenzione CCW), aperta alla firma il 10 aprile 1981, entrata in
vigore il 2 dicembre 1983.
9. Scharre, P., Army of None: Autonomous Weapons and the Future of War (W. W. Norton & Co .: New York, 2018), p. 305.
10. Sul problema dell'imprevedibilità dei sistemi autonomi si vedano anche i capitoli 3 e 4 di questo volume.
11. Presidente della Russia, "Discorso presidenziale all'Assemblea federale", 1 marzo 2018; e Mehta, A., "LRS-B details
emerge: major testing, risk reduction complete", Defense News, 2 settembre 2015.
12. Ad esempio Comitato internazionale della Croce Rossa (CICR), Sistemi d'arma autonomi: aspetti tecnici militari, legali e
umanitari, riunione di esperti, 26–28 marzo 2014, Ginevra, Svizzera (CICR: Ginevra, 2014).
13. Vedi ad es. Borrie, J., Caughley, T. e Wan, W. (a cura di), Understanding Nuclear Weapon Risks (UN Institute for
Disarmament Research: Geneva, 2017). Vedi anche Trattato sovietico-statunitense sulla limitazione dei sistemi missilistici
antibalistici (Trattato ABM), firmato il 26 maggio 1972, entrato in vigore il 3 ottobre 1972, non in vigore dal 13 giugno 2002,
United Nations Treaty Series, vol. 944 (1974), pagg. 13-17; e Trattato Sovietico-USA sull'eliminazione dei missili a corto e
intermedio raggio (Trattato INF), firmato l'8 dicembre 1987, entrato in vigore il 1° giugno 1988, United Nations Treaty Series,
vol. 1657 (1991), pagg. 4–167.
14. Ad esempio Gruppo di esperti governativi delle parti della Convenzione CCW, CCW / GGE.1 / 2018/3 (nota 8); e Nazioni
Unite, Assemblea generale, Report of the Group of Governmental Experts on Developments in the Field of Information and
Telecommunications in the Context of International Security, 22 luglio 2015, A / 70/174. Un gruppo simile istituito
dall'Assemblea generale delle Nazioni Unite per il periodo 2016-2017 non è riuscito a raggiungere un consenso su un rapporto
finale.
15. Comitato preparatorio per la conferenza di revisione del TNP 2020, "Riepilogo fattuale del presidente (documento di
lavoro)", NPT / CONF.2020 / PC.II / WP.41, 16 maggio 2018, par. 28; e Trattato di non proliferazione delle armi nucleari
(Trattato di non proliferazione, TNP), aperto alla firma il 1 ° luglio 1968, entrato in vigore il 5 marzo 1970.
16. Comitato preparatorio per la conferenza di revisione del TNP 2020, NPT / CONF.2020 / PC.II / WP.41 (nota 15), par. 28.
17. Vestergaard, C., "Meglio di un floppy: il potenziale della tecnologia di registro distribuito per la gestione delle informazioni
sulle salvaguardie nucleari", Stanley Foundation Policy Analysis Brief, ottobre 2018; e Frazer, S. L. et al., Exploratory Study on
Potential Safeguards Applications for Shared Ledger Technology (Pacific Northwest National Laboratory: Richland, WA,
febbraio 2017).
18. Vedi ad es. Dorfman, Z., "True detectives", Middlebury Magazine, primavera 2018.
19. Arnold, A., "Blockchain: a new aid to nuclear export controls?", Bulletin of the Atomic Scientists, 19 ottobre 2017.
20. Arora, N. S., Russell, S. e Sudderth, E., "NET-VISA: elaborazione di rete analisi sismica integrata verticalmente", Bulletin
of the Seismological Society of America, vol. 103, n. 2A (aprile 2013), pp. 709-29, p. 728. Cfr. Anche Arora, NS et al., "Global
seismic monitoring: a Bayesian approach", Proceedings of the Twenty-Fifth AAAI Conference on Artificial Intelligence
(Association for the Advancement of Artificial Intelligence (AAAI): Menlo Park, CA, 2011 ), pagg. 1533–36.
21. Russell, S., Vaidya, S. e Le Bras, R., "Machine learning for Comprehensive Nuclear-Test-Ban Treaty monitoring", CTBTO
Spectrum, no. 14 (aprile 2010).
22. Yoshikane, T. e Yoshimura, K., "Caratteristiche di dispersione dei materiali radioattivi stimate dai modelli del vento",
Scientific Reports, vol. 8 (2018), articolo n. 9926, 2 luglio 2018.
Conclusioni

15. Promesse e pericoli dell'intelligenza artificiale per la stabilità

strategica e la gestione del rischio nucleare: prospettive euro-atlantiche

Vincent Boulanin

Questo volume modificato è la prima puntata di una trilogia che esplora le prospettive regionali e le tendenze
relative all'impatto che i recenti progressi dell'intelligenza artificiale (AI) potrebbero avere sulle armi e dottrine
nucleari, sulla stabilità strategica e sulla sicurezza internazionale in generale. Raccoglie le opinioni di 14
esperti della comunità euro-atlantica che hanno partecipato a un workshop sul tema organizzato dal SIPRI nel
maggio 2018 a Stoccolma.
Questo capitolo finale presenta le principali conclusioni che se ne possono trarre raccolta di saggi. Raccoglie
innanzitutto le opinioni dei contributori su ciò che è attuale Le offerte di AI renaissance e i rischi che comporta
(nella sezione I). Quindi valuta cosa si può concludere sull'impatto dell'IA nel campo delle armi nucleari e
dottrine (nella sezione II). Infine (nella sezione III) chiude il volume rivedendo le opzioni per affrontare i rischi
che accompagnano la combinazione di AI e armi nucleari.

I. Le promesse e i pericoli dell'attuale rinascita dell'IA

Una comprensione sfumata della tecnologia e dei rischi associati è un presupposto per una risposta
politica adeguata

Ottenere l'immagine corretta del rischio

Come alcuni autori suggeriscono nei loro saggi, è facile concepire erroneamente le opportunità e le sfide
poste dall'IA nel dominio militare in generale e nel dominio nucleare in particolare. Il campo dell'IA sta
attraversando una rinascita di alto profilo. C'è un numero crescente di articoli di notizie, pubblicazioni ed eventi
pubblici che tentano di analizzare le componenti di quello che è l'attuale successo del rinascimento dell'IA,
ovvero una svolta nell'area dell'apprendimento automatico che ha sbloccato importanti opportunità per lo
sviluppo di Applicazioni di intelligenza artificiale, come i sistemi autonomi. Tuttavia, persistono idee sbagliate
sulle possibilità e sui rischi che l'intelligenza artificiale potrebbe effettivamente aumentare a breve termine
nella sfera militare. Come osserva Frank Sauer (capitolo 10), “l'intelligenza artificiale e l'apprendimento
automatico sono ancora contemporaneamente sovrastimati e sottostimati sia dal pubblico in generale che dai
responsabili politici”.
Uno dei motivi per cui vengono sopravvalutati è la terminologia, che innesca rappresentazioni
antropomorfiche. Per Sauer, “la componente” intelligenza “del termine AI evoca l'associazione sbagliata, vale a
dire con l'apprendimento e l'intelligenza umana”, che “differiscono in modo significativo dalla natura dell'IA e
dell'apprendimento automatico e da ciò di cui sono attualmente capaci”.
Il presente autore segnala questo problema terminologico anche nell'introduzione all'AI e all'apprendimento
automatico (capitolo 2): “il modo in cui funziona l'apprendimento automatico non ha nulla a che fare con il
modo in cui gli esseri umani apprendono”. Questa discrepanza tra intelligenza umana e artificiale e
apprendimento è chiaramente illustrata dalle descrizioni tecniche di come funzionano l'apprendimento
automatico e i sistemi autonomi di Dimitri Scheftelowitsch (capitolo 3) e Martin Hagström (capitolo 4).
Un secondo motivo per cui il potenziale dell'IA è sopravvalutato è la mancanza di consapevolezza sui
molteplici problemi tecnici e operativi che rallentano l'adozione da parte dei militari di applicazioni di machine
learning e sistemi autonomi. Il primo problema è la limitazione della tecnologia stessa. Nel suo saggio sullo
stato dei sistemi autonomi, Scheftelowitsch scrive che, per molti compiti e ambienti operativi, "la progettazione
di un sistema autonomo che può essere utilizzato nella pratica è una sfida ingegneristica, matematica e
politica considerevole.

Le ragioni di ciò non risiedono necessariamente nel processo decisionale autonomo in quanto tale, poiché
spesso è facile fornire un modello matematico appropriato, ma nei vari altri aspetti, non necessariamente
tecnici, dell'autonomia. “Lo stato dell'arte”, mentre impressionante, è ancora molto indietro rispetto alla
percezione culturale di ciò che i sistemi autonomi dovrebbero essere in grado di fare in un contesto militare,
vale a dire operare in modo sicuro e affidabile in un ambiente complesso, incerto e contraddittorio.

Numerosi collaboratori sottolineano che i sistemi autonomi statali sono ancora troppo fragili per riutilizzare le
parole di Michael Horowitz (capitolo 9). Hagström osserva inoltre che, sebbene i progressi nell'apprendimento
automatico potrebbero migliorare la progettazione di sistemi autonomi oltre a offrire miglioramenti qualitativi a
un'ampia varietà di applicazioni militari, generano anche problemi unici in termini di prevedibilità e affidabilità
del sistema. Sottolinea che una caratteristica dei modelli creati dal machine learning è che non sono
trasparenti: il loro comportamento potrebbe quindi non essere del tutto comprensibile e prevedibile per gli
umani che li progettano e li utilizzano, il che è problematico in un contesto militare poiché “Da un operativo
punto di vista, gli effetti di un sistema d'arma devono essere prevedibili per l'ufficiale in comando”. Per
Hagström, c'è quindi un importante divario da colmare tra ciò che l'apprendimento automatico può fare a livello
sperimentale e ciò che può essere attendibile quando viene effettivamente distribuito; per poter sfruttare i
progressi dell'apprendimento automatico, i militari dovranno prima risolvere alcuni complessi problemi di test e
verifica.

Ci sono, in altre parole, molte ragioni per non esagerare l'impatto dell'attuale rinascita dell'IA sui militari. I
contributi in questo volume illustrano che l'IA potrebbe consentire un importante miglioramento qualitativo in
molte aree della guerra; tuttavia, gli sviluppi prevedibili saranno molto più prosaici della comune
rappresentazione dell'IA militare nella cultura popolare. L'IA superintelligente o i sistemi autonomi simili a
Terminator non sono il tipo di tecnologia di cui i responsabili politici e il pubblico in generale dovrebbero
preoccuparsi. Piuttosto, dovrebbero essere preoccupati dal fatto che i militari potrebbero sottovalutare o
ignorare i limiti dell'attuale tecnologia AI.

I contributori presentano una diagnosi abbastanza simile dei limiti dell'attuale tecnologia AI. Insieme, indicano
quattro fattori.

1. La fragilità dell'IA. La tecnologia AI è limitata a compiti estremamente ristretti.

Nelle parole di Sauer, potrebbe “[fallire] in modo spettacolare quando si trova di fronte a un compito [o
ambiente] che differisce leggermente da quello per cui è stato addestrato”.
2. L'opacità e l'imprevedibilità dell'apprendimento automatico. I sistemi basati sull'apprendimento automatico
possono generare risultati inspiegabili e comportamenti imprevedibili.
3. Il bias incorporato nei sistemi. I sistemi di intelligenza artificiale, compresi i sistemi addestrati
dall'apprendimento automatico, possono includere pregiudizi umani che possono avere effetti dannosi, in
particolare quando questi sistemi sono destinati a supportare decisioni umane critiche, come la decisione di
usare la forza.
4. La vulnerabilità dei sistemi di IA. Come ampiamente dimostrato da Shahar Avin e SM Amadae (capitolo 13),
l'integrazione dell'IA nei sistemi militari non solo aumenta la loro potenziale vulnerabilità agli attacchi
informatici (aumentando la 'superficie di attacco' come dicono loro) ma rende anche possibili nuovi tipi di
attacco , ad esempio lo spoofing che coinvolge l'avvelenamento dei dati.

Prenditi del tempo per esplorare i rischi basati sulla tecnologia prima della distribuzione

Con queste limitazioni in mente, quasi tutti i contributori avvertono che un'adozione immatura del più recente
sviluppo della tecnologia AI da parte dei militari, in particolare nel contesto dei sistemi di armi nucleari,
potrebbe avere conseguenze drammatiche.
Sembrano concordare sul fatto che sarebbe prudente per gli stati dedicare tempo e risorse alla comprensione
di questi limiti e al modo in cui possono essere mitigati nelle prime fasi del processo di ricerca e sviluppo.

Tuttavia, come osserva Page Stoutland (capitolo 7), “I potenziali vantaggi in termini di prestazioni. . . può
rivelarsi irresistibile per gli sviluppatori e gli sponsor del governo”. Questa preoccupazione sembra essere
condivisa da altri contributori, inclusi Sauer e Justin Bronk. Notano che alcuni stati potrebbero essere pronti ad
abbassare gli standard di sicurezza e affidabilità del proprio sistema per mantenere o sviluppare il proprio
vantaggio tecnologico rispetto ai concorrenti. Parlando da una prospettiva britannica ed europea, Bronk
conclude nel suo saggio sui veicoli aerei da combattimento senza pilota (UCAV) e sulle armi autonome
(capitolo 12) che “I potenziali poteri avversari (e molto probabilmente gli Stati Uniti) non aspetteranno che le
potenze dell'Europa occidentale si compensino la loro mente prima di realizzare velivoli letali e altamente
autonomi”. Per Bronk, gli stati europei, e il Regno Unito in particolare, hanno un ruolo chiave da svolgere
nell'influenzare “la costruzione di norme attorno a questi sistemi”.

L'esplorazione dei rischi e delle opzioni politiche deve essere inclusiva

Al di là delle alleanze

Gli Stati non devono solo sviluppare e comprendere meglio le opportunità e le sfide poste dall'uso militare
dell'IA, in particolare nel contesto legato alla forza nucleare; hanno anche bisogno di discuterne con altri stati.
Bronk suggerisce che un modo per iniziare questa discussione è impegnarsi con stati che la pensano allo
stesso modo. Dalla prospettiva dei paesi occidentali, ciò significherebbe impegnarsi in una conversazione
all'interno dell'Organizzazione del Trattato del Nord Atlantico (NATO) o dell'Unione Europea (UE).
Sebbene sarebbe certamente vantaggioso se i paesi occidentali potessero concordare sulla diagnosi del
rischio o su una risposta politica preferibile, ciò non sarebbe sufficiente. La discussione sui rischi e le norme
che potrebbero governare l'uso dell'IA nella sfera militare in generale - e nel contesto nucleare in particolare -
deve avvenire anche tra gli stati membri della NATO, la Russia e altri stati dotati di armi nucleari come la Cina
e India.
Sono in corso numerose discussioni sul controllo degli armamenti che offrono opportunità per tali discussioni:
il processo sui sistemi d'arma autonomi letali (LEGGI) ai sensi della Convenzione del 1980 su alcune armi
convenzionali (Convenzione CCW) per questioni relative all'uso convenzionale dell'IA militare e, per le
preoccupazioni legate al nucleare, il processo di revisione del Trattato di non proliferazione (TNP) del 1968.
Anche il rischio basato sulla tecnologia dovrebbe far parte del rischio nucleare bilaterale di deliberazioni di
riduzione, in particolare tra Russia e Stati Uniti.

Gli attori non statali hanno un ruolo da svolgere

Gli Stati devono anche dialogare con le organizzazioni della società civile, il mondo accademico e l'industria
sui rischi posti dalla tecnologia AI e su come questi potrebbero essere mitigati attraverso varie forme di
governance. Come sottolineano giustamente Anja Kaspersen e Chris King (capitolo 14), questi attori non
statali hanno un ruolo essenziale da svolgere, e in particolare l'industria "poiché include i progenitori di gran
parte della tecnologia pertinente". Gli attori non statali possono aiutare gli stati a comprendere meglio la
velocità e la traiettoria di sviluppo della tecnologia. Gli Stati a loro volta possono aiutare il mondo accademico
e l'industria a diventare più consapevoli dei rischi per la sicurezza associati alle tecnologie che ricercano e
sviluppano.
Come sottolineano Kaspersen e King, "l'ONU, con il suo potere di convocazione universale, può svolgere un
ruolo significativo nel fornire la piattaforma richiesta per facilitare le conversazioni e la condivisione delle
conoscenze". In effetti, le Nazioni Unite stanno già consentendo agli attori non governativi di prendere parte a
discussioni informali in una serie di forum multilaterali, come la Conferenza sul disarmo o il regime CCW. Per
Kaspersen e King, “questa iniziativa deve essere potenziata e replicata, anche nel Primo Comitato
dell'Assemblea Generale delle Nazioni Unite”.
Allo stesso tempo, è utile tenere a mente che le discussioni condotte nel quadro delle Nazioni Unite vengono
facilmente politizzate: in alcuni forum sul controllo degli armamenti la discussione è diventata così polarizzata
che il dialogo costruttivo è diventato difficile. Saranno quindi necessarie altre strade per discussioni multi-
stakeholder. Per consentire una discussione costruttiva, può essere utile trovare luoghi neutri e percorsi di
discussione che non siano già gravati da importanti contese politiche.

II. L'impatto dell'IA sulle armi nucleari e sulle dottrine: cosa si può dire finora

I contributori a questo volume sembrano condividere la consapevolezza che la discussione sulle sfide poste
dall'IA nel campo delle armi nucleari e delle dottrine può essere solo speculativa. Ciò è dovuto principalmente
(a) alla difficoltà di prevedere lo sviluppo tecnologico nell'area dell'IA e (b) alla mancanza di informazioni open
source su come i pianificatori militari vedono il ruolo dell'IA nei futuri piani di modernizzazione militare
nucleare. Tuttavia concordano su una serie di punti.

Come l'intelligenza artificiale potrebbe avere un impatto sulle armi nucleari e sulle dottrine

Come l'IA potrebbe essere utilizzata nei sistemi di armi nucleari

In primo luogo, i contributori notano all'unanimità che i recenti progressi nell'IA potrebbero essere sfruttati in
tutti gli aspetti dell'impresa nucleare.
Il presente autore (capitolo 6) e Horowitz descrivono come l'apprendimento automatico potrebbe essere
utilizzato per potenziare le capacità di rilevamento dei sistemi di allerta precoce esistenti e migliorare la
possibilità per gli analisti umani di eseguire un'analisi incrociata dei dati di intelligence, sorveglianza e
ricognizione (ISR) . Notano anche che i sistemi autonomi offrono nuove possibilità per le operazioni di
telerilevamento, ad esempio nel contesto della guerra anti-sottomarino.
Diversi partecipanti sollevano la questione se gli stati dotati di armi nucleari possano utilizzare sistemi
autonomi senza pilota come veicoli aerei senza pilota (UAV) o veicoli sottomarini senza pilota (UUV) per il
lancio di armi nucleari come alternativa ai missili balistici intercontinentali (ICBM) e ai bombardieri con
equipaggio e sottomarini. Concordano sul fatto che, sebbene tecnicamente fattibile, gli Stati dotati di armi
nucleari sembrano rimanere riluttanti su questa possibilità. In riferimento al caso degli Stati Uniti, Bronk,
Horowitz e l'attuale autore citano dichiarazioni ufficiali secondo cui gli Stati Uniti non vedono alcun ruolo per i
bombardieri senza pilota nella consegna di armi nucleari.

Tecnologie rivoluzionarie?

Alla domanda se gli sviluppi guidati dall'IA nei sistemi di armi nucleari trasformeranno radicalmente il campo
delle armi e delle dottrine nucleari, la risposta che sembra emergere dai vari contributi è "no", almeno non
ancora, per tre ragioni.
In primo luogo, i sistemi di armi nucleari si affidano già ampiamente alla tecnologia e all'automazione dell'IA.
La connessione tra IA e armi nucleari non è nuova. Le opportunità e le sfide associate all'uso dell'IA e
dell'automazione nei sistemi di armi nucleari sono note da decenni. Ad esempio, John Borrie (capitolo 5)
mostra come, durante la guerra fredda, i responsabili delle politiche nucleari siano già “alle prese con la
questione di quali ruoli di valutazione e decisionali siano appropriati per la delega alle macchine e quale sia un
livello di delega appropriato”. Quindi, da questa prospettiva, i recenti progressi nell'apprendimento automatico
e nei sistemi autonomi rafforzano, piuttosto che alterare, le applicazioni esistenti di intelligenza artificiale e
automazione.
In secondo luogo, come discusso sopra, i più recenti progressi nell'apprendimento automatico e nei sistemi
autonomi hanno alcune limitazioni tecniche, il che significa che la loro incorporazione nei sistemi di armi
nucleari potrebbe richiedere (molto) tempo. Il campo della tecnologia delle armi nucleari è generalmente noto
per la sua conservatività: storicamente è stato lento nell'integrare i più recenti sviluppi tecnologici. Gli Stati
dovranno risolvere i difficili problemi di test e valutazione per avere la certezza che questi sviluppi possano
essere certificati per l'uso.
In terzo luogo, il vero scenario che cambia il gioco sarebbe una situazione in cui la tecnologia di intelligenza
artificiale consente a uno stato dotato di armi nucleari di minacciare in modo credibile la capacità di secondo
colpo di un altro stato dotato di armi nucleari. Tuttavia, mentre ci sono una serie di tecnologie in fase di
sviluppo che sono specificamente destinate a farlo (ad esempio, il Sea Hunter degli Stati Uniti, un prototipo di
veicolo di superficie autonomo che potrebbe rintracciare sottomarini con armi nucleari), queste non sembrano
abbastanza mature da rappresentare un credibile minaccia ... ancora.

L'impatto sulla stabilità strategica nel contesto euro-atlantico

Il fatto che gli ultimi progressi nell'IA siano troppo immaturi per innescare una trasformazione radicale nel
campo della strategia nucleare non significa che non possano avere un effetto tangibile sulla stabilità
strategica, in particolare in un contesto euro-atlantico.
Come notato da diversi collaboratori, in particolare Jean-Marc Rickli (capitolo 11), il campo della strategia è
“altamente psicologico”. La percezione della capacità di un nemico conta tanto, se non di più, della sua
effettiva capacità. Uno stato dotato di armi nucleari potrebbe innescare misure destabilizzanti basate solo sulla
convinzione che la sua capacità di ritorsione potrebbe essere sconfitta dalle capacità di intelligenza artificiale
di un altro stato. È qui che la natura intrinseca della tecnologia AI diventa un grosso problema: il fatto che sia
basata su software rende difficile la valutazione tangibile delle capacità militari.
Gli stati dotati di armi nucleari potrebbero quindi facilmente percepire male le capacità e le intenzioni dei loro
avversari. Per questo motivo, Rickli sostiene che “le potenze nucleari dovrebbero considerare, con la massima
priorità, comunicare in modo chiaro e accurato sulle loro capacità di intelligenza artificiale”.
Nel contesto euro-atlantico, uno scenario probabile preoccupante sarebbe una situazione in cui la Russia
tenterebbe di compensare il vantaggio tecnologico degli Stati Uniti nel regno convenzionale attraverso
un'ulteriore modernizzazione del suo arsenale nucleare.
Petr Topychkanov (capitolo 8) considera una possibilità ancora più destabilizzante: che la Russia passi da una
dottrina nucleare difensiva a una offensiva.
Per aggiungere sfumature a questo quadro, una serie di contributori sottolineano che la tecnologia AI porta
non solo rischi, ma anche opportunità di stabilità strategica.
Ad esempio, Horowitz spiega che i recenti progressi nell'intelligenza artificiale potrebbero migliorare la stabilità
in quanto fornirebbero ai responsabili delle decisioni nucleari strumenti migliori per la gestione delle crisi. Da
un lato, i progressi nell'apprendimento automatico potrebbero aumentare la capacità di un comandante
militare di elaborare le informazioni ISR e prendere decisioni critiche in una situazione critica in termini di
tempo. I sistemi autonomi, d'altro canto, fornirebbero nuove opportunità per il telerilevamento e per la
diffusione di informazioni e ordini in un ambiente in cui la comunicazione è altrimenti negata.
Kaspersen e King sottolineano inoltre che i recenti progressi nell'intelligenza artificiale potrebbero supportare i
processi di disarmo e controllo degli armamenti in corso. Spiegano, ad esempio, che l'IA potrebbe consentire
nuove scoperte nei regimi di conformità e verifica: l'apprendimento automatico potrebbe aiutare a monitorare i
test nucleari o prevenire l'approvvigionamento illecito per i programmi di armi di distruzione di massa.

III. Opzioni per affrontare i rischi

Esistono già alcune soluzioni

Molti dei partecipanti sostengono che i sistemi di intelligenza artificiale e automatizzati fanno parte da decenni
dell'architettura della deterrenza nucleare, il che significa che i rischi associati al loro utilizzo sono ben noti. I
recenti progressi nell'apprendimento automatico e nell'autonomia, in quel contesto, molto probabilmente
esacerberebbero questi rischi piuttosto che crearne di nuovi.
Come sottolinea Sauer, questo significa anche che le possibili soluzioni esistono già: potrebbe non essere
necessario reinventare la ruota. Per Sauer, le dottrine del divieto di primo utilizzo e un abbassamento dello
stato di allerta degli arsenali nucleari, ad esempio, farebbero guadagnare tempo prezioso durante una crisi e
consentirebbero una valutazione più attenta dei segnali ricevuti, prevenendo così l'escalation dovuta a errori di
calcolo e falsa percezione'. Rickli, Kaspersen e King sottolineano inoltre che un approccio tradizionale alla
trasparenza e alla condivisione delle informazioni potrebbe aiutare. Una maggiore apertura sui piani di
modernizzazione nucleare e una maggiore condivisione delle informazioni sugli sviluppi relativi all'IA attraverso
diversi percorsi di dialogo potrebbero mitigare il potenziale destabilizzante dell'IA.
Potrebbe essere necessario lo sviluppo di nuove politiche

Il fatto che esistano già alcune misure di mitigazione del rischio non significa che gli Stati dovrebbero rifuggire
dall'esplorare nuove opzioni politiche. Ciò è particolarmente vero a livello multilaterale, considerando che le
discussioni bilaterali tra Russia e Stati Uniti sul disarmo nucleare e sulle questioni relative al controllo degli
armamenti si sono notevolmente deteriorate negli ultimi anni.
Come notano Kaspersen e King, una conversazione sulla necessità e sulla forma di nuove misure di
mitigazione del rischio mirate agli sviluppi relativi all'IA dovrebbe svolgersi nel quadro del TNP, che è “la pietra
angolare del regime di non proliferazione e disarmo nucleare, dove sono già in corso discussioni su minacce,
rischi e opportunità”. A questo proposito, la prossima conferenza di revisione del TNP nel 2020 fornirebbe una
grande opportunità per gli stati di impegnarsi su questo argomento.
Il risultato di tali discussioni potrebbe non essere necessariamente la creazione di un nuovo trattato o di nuove
leggi internazionali. Come sottolineano Kaspersen e King, “Quando si tratta di stare al passo con la
tecnologia, la legge” soft “o approcci basati su standard autoregolanti potrebbero essere preziosi”. Questi
potrebbero includere "misure di rafforzamento della fiducia politicamente vincolanti (ad esempio una maggiore
trasparenza su come le tecnologie vengono incorporate nelle dottrine militari e di sicurezza) e accordi per non
interferire con le strutture di comando e controllo o testare o dispiegare destabilizzanti nuove capacità o codici
di condotta o principi applicabili allo sviluppo di tecnologie nuove e potenzialmente destabilizzanti".

Tutto sommato, da questa raccolta di saggi emerge che esiste un consenso generale tra gli esperti della
regione euro-atlantica sull'impatto che i recenti progressi nell'IA potrebbero avere sulla stabilità strategica e sul
rischio nucleare. Va sottolineato, tuttavia, che la loro comprensione delle sfide e di come queste possono
essere affrontate sembrano essere influenzate dall'esperienza del rapporto strategico sovietico-americano
durante la guerra fredda. Nell'Asia orientale e nell'Asia meridionale, la geografia e la storia hanno portato gli
Stati dotati di armi nucleari a sviluppare una diversa comprensione di quali siano i pilastri chiave della stabilità
strategica, anche per quanto riguarda concetti come deterrenza, prevenzione e risoluzione dei conflitti e i
fattori che potrebbe causare un conflitto nucleare. È quindi ragionevole presumere che esperti di queste
regioni, le cui opinioni saranno rappresentate nei prossimi due volumi di questa serie, tracceranno un quadro
diverso.1

1. Saalman, L. (a cura di), The Impact of Artificial Intelligence on Strategic Stability and Nuclear Risk, vol. II, East Asian
Perspectives (SIPRI: Stoccolma, di prossima pubblicazione); e Topychkanov, P. (a cura di), The Impact of Artificial Intelligence
on Strategic Stability and Nuclear Risk, vol. III, South Asian Perspectives (SIPRI: Stoccolma, di prossima pubblicazione).
Riguardo agli Autori

SM Amadae (Stati Uniti) è docente universitario di politica presso l'Università di Helsinki e ricopre anche
incarichi come affiliato di ricerca con il programma Science, Technology and Society (STS) del Massachusetts
Institute of Technology (MIT) e come professore associato di politica e relazioni internazionali alla Swansea
University. Amadae ricerca la deterrenza, la cooperazione e le norme nelle relazioni internazionali e
nell'economia politica internazionale. Ha recentemente pubblicato Prisoners of Reason: Game Theory and
Neoliberal Political Economy (Cambridge University Press, 2016).

Shahar Avin (Israele) è un ricercatore postdottorato presso il Center for the Study of Existential Risk
dell'Università di Cambridge. Avin ricerca i rischi catastrofici ed esistenziali globali, con particolare attenzione
ai rischi dell'intelligenza artificiale (AI), utilizzando una combinazione di metodi che includono modellazione,
previsione, elicitazione di esperti e scenari partecipativi. È stato co-autore principale di The Malicious Use of
Artificial Intelligence: Forecasting, Prevention and Mitigation (febbraio 2018), un rapporto collaborativo multi-
istituzionale.

John Borrie (Nuova Zelanda) è il coordinatore della ricerca presso l'Istituto delle Nazioni Unite per la ricerca
sul disarmo (UNIDIR) e guida il suo programma sulle armi di distruzione di massa e altre armi strategiche. È
anche un membro della Chatham House. Ha pubblicato su molti aspetti del controllo degli armamenti, del
disarmo e di altri processi e tecnologie legati alle armi. Borrie ha un dottorato di ricerca presso l'Università di
Bradford.

Vincent Boulanin (Francia) è un ricercatore senior presso SIPRI, dove il suo lavoro si concentra sulle sfide
poste dai progressi dell'autonomia nei sistemi d'arma e le applicazioni militari dell'IA più in generale. Prima di
entrare a far parte del SIPRI nel 2014, ha conseguito un dottorato di ricerca in scienze politiche presso l'École
des Hautes Études en Sciences Sociales, Parigi. Le sue pubblicazioni recenti includono Bio Plus X: Arms
Control and the Convergence of Biology and Emerging Technology (SIPRI, 2019, coautore).

Justin Bronk (Regno Unito) è un ricercatore specializzato in tecnologia e potenza aerea da combattimento
presso il Royal United Service Institute (RUSI). È anche editore di RUSI Defense Systems. Bronk ha scritto su
questioni relative alla potenza aerea per il RUSI Journal, RUSI Defense Systems, RUSI Newsbrief, il Journal
of Strategic Studies e Air Power e contribuisce regolarmente ai media internazionali.
È anche un dottorando part-time al King's College di Londra.

Martin Hagström (Svezia) è vicedirettore della ricerca presso l'Agenzia svedese per la ricerca sulla difesa
(Totalförsvarets forskningsinstitut, FOI). Le sue aree di competenza sono i sistemi autonomi, l'aeronautica e i
veicoli senza pilota, e le sue ultime ricerche includono il lavoro sui sistemi d'arma autonomi. Hagström è anche
il responsabile del programma dell'area delle armi e della protezione e sostiene la pianificazione della ricerca
sulle armi e sulla protezione delle forze armate svedesi.
Michael C. Horowitz (Stati Uniti) è professore di scienze politiche all'Università della Pennsylvania e direttore
associato della sua Perry World House.
I suoi libri includono The Diffusion of Military Power: Causes and Consequences for International Politics
(Princeton University Press, 2010) e Why Leaders Fight (Cambridge University Press, 2015, coautore). Ha
pubblicato ampiamente sul futuro della guerra, dell'innovazione, della leadership e della previsione degli eventi
geopolitici.
La sua recente ricerca si concentra su come l'intelligenza artificiale e la robotica daranno forma al potere
globale.
Ha conseguito il dottorato di ricerca presso l'Università di Harvard.

Anja Kaspersen (Norvegia) è direttrice della sezione di Ginevra dell'Ufficio delle Nazioni Unite per il disarmo
(UNODA) e vice segretario generale della Conferenza sul disarmo. Prima di assumere queste posizioni nel
2017, è stata a capo dell'impegno strategico e delle nuove tecnologie presso il Comitato internazionale della
Croce Rossa e direttore senior e membro del Comitato esecutivo del Forum economico mondiale.

Chris King (Australia) è vicecapo del ramo armi di distruzione di massa e capo dell'unità di scienza e
tecnologia dell'UNODA. Prima di entrare all'ONU, Chris ha prestato servizio presso il Dipartimento australiano
degli affari esteri e del commercio, anche in India e Iraq. È stato direttore ad interim della Sezione per il
controllo degli armamenti, responsabile della politica australiana di disarmo e non proliferazione, e consigliere
del ministro degli esteri australiano Kevin Rudd.

Jean-Marc Rickli (Svizzera) è il responsabile del rischio globale e della resilienza presso il Geneva Center for
Security Policy (GCSP). È anche ricercatore presso il King's College di Londra e consulente senior per
l'iniziativa AI presso la Future Society, Harvard Kennedy School of Government. È membro della IEEE Global
Initiative on Ethics of Autonomous and Intelligent Systems e co-chair del gruppo di lavoro del Partnership for
Peace Consortium sulle sfide alla sicurezza emergenti. Rickli è coautore di Surrogate Warfare: The
Transformation of War in the Twenty-First Century (Georgetown University Press, di prossima pubblicazione).

Frank Sauer (Germania) è un ricercatore senior presso la Bundeswehr University di Monaco. Il suo lavoro si
concentra sul nesso tra tecnologia, società e sicurezza, in particolare l'applicazione dell'IA e della robotica in
campo militare. Le sue pubblicazioni includono Atomic Anxiety: Deterrence, Taboo and the Non-Use of U.S.
Nuclear Weapons (Palgrave Macmillan, 2015) e "Autonomous Arma Systems and Strategy Stability", Survival
(2017, coautore).

Dimitri Scheftelowitsch (Russia) è un ricercatore post-dottorato presso l'Università TU Dortmund nelle aree
del processo decisionale ottimale in condizioni di incertezza e ottimizzazione matematica. Il suo lavoro attuale
si concentra su modelli matematici di incertezza e metodi di ottimizzazione corrispondenti, proseguendo
dall'argomento del suo dottorato di ricerca presso TU Dortmund. Le recenti pubblicazioni di Scheftelowitsch
includono "Calcolo delle somme ponderate dei premi per MDP simultanei", Metodi matematici di ricerca
operativa (2019, coautore).

Pagina O. Stoutland (Stati Uniti) è vicepresidente per gli affari scientifici e tecnici presso la Nuclear Threat
Initiative (NTI). È entrato a far parte dell'NTI nel 2010. È responsabile dei progetti scientifici e tecnicamente
correlati dell'NTI progettati per rafforzare la sicurezza nucleare e ridurre i rischi in tutto il mondo. I temi attuali
includono il lavoro per rafforzare la sicurezza informatica per i sistemi di armi nucleari e presso gli impianti
nucleari, la promozione di miglioramenti nella sicurezza dei materiali nucleari attraverso l'NTI Nuclear
Materials Security Index e il rafforzamento tecnico
cooperazione con la Cina.

Petr Topychkanov (Russia) è un ricercatore senior del programma di disarmo nucleare, controllo degli
armamenti e non proliferazione del SIPRI. Si occupa di questioni relative alla non proliferazione nucleare, al
disarmo, al controllo degli armamenti e all'impatto delle nuove tecnologie sulla stabilità strategica. Dal 2006 al
2017 è stato membro del Programma di non proliferazione del Carnegie Moscow Center.
Le recenti pubblicazioni di Topychkanov includono Setting the Stage for Progress Towards Nuclear
Disarmament (SIPRI, 2018, coautore).