Vai al contenuto
Un chatbot ha visto un carico nucleare dove non c’era, poi ha scritto anche il rapporto, e la catena di comando americana ha scambiato il trucco per la faccia. Il fatto è di questa primavera, in piena guerra con l’Iran, ed è venuto fuori con un’esclusiva della CNN del 18 settembre. Le forze armate degli Stati Uniti si sono preparate ad abbordare una nave cinese in Medio Oriente perché un’analisi generata con l’intelligenza artificiale sosteneva che trasportasse componenti per un programma di armi nucleari. Il carico era un altro. Quale, la CNN non è riuscita a saperlo.
Le fonti della CNN sono quattro. Due raccontano che militari armati si preparavano a salire a bordo, le altre che gli aerei erano già in volo. Una ha riassunto l’episodio in due frasi: il rapporto era “del tutto falso” e “ha quasi fatto scoppiare una guerra”.
Il trucco
Tutto parte da un analista di un comando per le operazioni speciali, che ha chiesto a un chatbot di interpretare le informazioni sul carico della nave, arrivate dal comando delle operazioni speciali nel Pacifico, con sede alle Hawaii. Il chatbot ha mescolato fonti aperte e intercettazioni riservate e ne ha ricavato la conclusione sbagliata. Poi l’analista ha usato di nuovo l’IA per confezionare il rapporto formale, quello che è girato fra i comandi.
Il rossetto lo ha tirato fuori un ex alto funzionario americano, che alla CNN ha descritto gli strumenti interni di militari e analisti come “copie della roba commerciale col rossetto”. Non si sa se il chatbot di questa storia fosse un prodotto in vendita o uno sviluppato dal governo. Il rapporto però aveva la forma, il gergo e l’intestazione di un documento d’intelligence, e fino alla vigilia dell’operazione nessuno ha guardato sotto.
Il trucco come dottrina
Il Pentagono il rossetto lo compra all’ingrosso. A gennaio il segretario Pete Hegseth ha lanciato una strategia di accelerazione sull’IA militare con un obiettivo dichiarato: forze armate “AI-first”, cioè costruite attorno all’intelligenza artificiale in ogni settore. Nel memorandum ai comandanti Hegseth ha scritto che in questa corsa vince la velocità.
Il piano mette i modelli più avanzati nelle mani di oltre tre milioni di dipendenti civili e militari. Nella ricostruzione della CNN c’è anche il rovescio della medaglia. Ogni pezzo dell’apparato usa strumenti propri, con ordini e standard di sicurezza diversi, e non esiste una regola unica per verificare quello che l’IA produce.
Le fonti hanno aggiunto il resto. La fretta spinge gli analisti a produrre e diffondere prima di controllare, i più giovani si fidano dei chatbot senza fare domande, e la risposta inventata con sicurezza (quella che nel settore chiamano allucinazione) non è stata un caso isolato. “L’IA ti permette di arrivare più in fretta a una cattiva idea”, ha detto una di loro alla CNN.
La Via Lattea, 1993
Gli Stati Uniti hanno già inseguito una nave cinese diretta in Iran per un carico che non c’era, e senza nessun chatbot. Nell’agosto del 1993 Washington accusò la portacontainer Yinhe (in cinese, Via Lattea) di trasportare precursori di armi chimiche. La Marina la tenne per 24 giorni in acque internazionali e l’ispezione finale non trovò traccia della merce sospetta, come documentano le carte d’archivio della Biblioteca Clinton.
John Tkacik, allora analista per la Cina al dipartimento di Stato, ha raccontato anni dopo che quell’informazione sembrava “oro puro” ed era arrivata dritta alla Casa Bianca. Quando a Dammam, in Arabia Saudita, aprirono i container, dentro c’erano giocattoli e penne a sfera. Washington non si scusò: aveva agito in buona fede su informazioni arrivate da più fonti, tutte sbagliate.
La lettura più banale, quindi, regge da sola. L’intelligence sbaglia anche senza IA, e stavolta un controllo c’è stato: l’operazione è stata annullata quando i funzionari hanno capito che il carico lo aveva identificato un chatbot.
Tardi, con gli aerei già in volo. Ma prima che qualcuno salisse a bordo, l’operazione è saltata all’ultimo minuto.
Struccato
Quello che cambia rispetto al 1993 è il ruolo dell’uomo. Allora l’errore veniva da fonti che qualcuno aveva giudicato affidabili. Stavolta il chatbot ha fatto l’analisi e anche la confezione, e l’analista si è limitato a interrogarlo e a inoltrare il risultato: l’umano nel processo c’era, la verifica no. Il Pentagono e il comando del Pacifico non hanno risposto alle domande della CNN, ne ha scritto Tech Times.
Intanto a Washington la linea non cambia: Trump e alcuni dei suoi alleati si oppongono a limitare lo sviluppo dell’IA. Nel 1993 i giocattoli stavano nei container. Stavolta il giocattolo stava sulla scrivania dell’analista, e il rossetto se l’era messo da solo.
Crediti immagini: Unsplash
