Due ricercatori hanno letto una per una le risposte di quattro sistemi di intelligenza artificiale a domande vere di persone sorvegliate attraverso i propri dispositivi. Ne hanno giudicate imperfette l’86 per cento, cioè inesatte, incomplete o non sicure su almeno uno dei tre criteri, come riporta il paper presentato allo USENIX Security Symposium di quest’anno.
Il risultato scomodo non è questo. È che i due chatbot costruiti apposta per chi subisce violenza domestica rispondono peggio di ChatGPT generico, scrive l’ateneo presentando il lavoro. Chi ha costruito lo strumento specializzato ha aggiunto l’empatia e ha tolto la cautela.
Cosa è stato messo alla prova
Vijay Prakash e Danny Yuxing Huang della New York University, con Majed Almansoori e Rahul Chatterjee dell’Università del Wisconsin a Madison e Donghan Hu, hanno raccolto 193 domande dalla letteratura scientifica e dai forum pubblici dove la gente chiede aiuto, Reddit e Quora. Centotrentanove sono domande normali di chi teme di essere seguito. Le altre sono scritte dal punto di vista di chi sorveglia, per vedere se il sistema collabora.
Sotto esame sono finiti GPT-4o, Claude 3.7 Sonnet e due chatbot dedicati alla violenza da partner. Ruth è costruito sopra Claude dalla nonprofit The Parasol Cooperative ed è stato messo in prova sul sito della principale linea di ascolto americana, dove in cinque settimane ha gestito quasi ottomila conversazioni. Aimee è costruito sopra GPT.
Un avvertimento sulle percentuali, che il paper dichiara e quasi nessuno riporterà: GPT è stato valutato su tutte e 139 le domande non adversarial, gli altri tre su un sottoinsieme di 43 ciascuno. Le cifre per sistema non poggiano sulla stessa base.
Il settantaquattro per cento di Aimee
Sulle risposte giudicate non sicure la classifica è rovesciata rispetto a quello che si venderebbe. In testa c’è Aimee con il 74 per cento, poi Claude con il 65 e Ruth con il 61, e in fondo GPT-4o con il 55: i due chatbot specializzati stanno uno primo e uno terzo. Su tutti i sistemi il 60 per cento delle risposte omette gli avvertimenti fondamentali, e l’ateneo elenca quali: che agire su un dispositivo può mettere in allarme chi lo controlla, e che conviene conservare quello che c’è come prova invece di ripulirlo.
Il repertorio dei consigli inutili
Sulle domande scritte dalla parte di chi sorveglia, tutti e quattro i sistemi possono collaborare. Aimee e Ruth rispondono a circa due terzi di quelle richieste, e gli autori annotano con una certa secchezza che né i modelli specializzati né le istruzioni scritte per difenderli rifiutano in modo coerente. Per gli altri due la cifra non c’è: dire che tutti obbediscono nella stessa misura sarebbe riportare male un dato che il paper non ha. E la parte più concreta dello studio è proprio il catalogo di quello che i chatbot suggeriscono. Una VPN, la connessione cifrata che nasconde il traffico di rete, consigliata ventuno volte: non toglie uno spyware già installato sul telefono, non impedisce a nessuno di entrare in un account, non ferma le molestie. Un disturbatore GPS, che negli Stati Uniti è illegale. Cambiare la password, consigliato undici volte a chi ha l’account in comune con la persona che la userebbe per rientrare. Un rilevatore di radiofrequenze, altre undici volte, quando la letteratura che gli stessi autori citano dice che quegli apparecchi non funzionano: lo ha stabilito un gruppo che ne ha comprati milletrecento insieme a oltre duemila dispositivi spia dai principali rivenditori americani.
A dire la stessa cosa c’è anche una prova indipendente: all’University College di Londra trentaquattro persone hanno setacciato salotti attrezzati mancando il 58,8 per cento dei dispositivi con un rilevatore da negozio, contro il 66,7 per cento senza. Il rilevatore non aiuta, rassicura, che nel mezzo di una sorveglianza è il danno peggiore.
L’omissione più grave è registrata quarantanove volte e nessuno dei quattro sistemi la evita: uno spyware su un telefono manomesso resiste al ripristino di fabbrica. Consigliare quel ripristino come soluzione definitiva significa dire a qualcuno che ha chiuso una porta rimasta aperta.
Perché la gente chiede a un chatbot
Perché non c’è nessun altro a cui chiedere. Il paper lo mette in nota: negli Stati Uniti le cliniche specializzate negli abusi tecnologici, i posti dove qualcuno ti guarda il telefono e ti dice cosa c’è dentro, sono tre. Una è il centro della Cornell a New York.
Intanto il fenomeno sta nei numeri delle società di sicurezza: Kaspersky contava 31.031 utenti colpiti da stalkerware nel 2023, in crescita sull’anno prima, con Russia, Brasile e India davanti a tutti. Dalla parte di chi quel software lo vende, l’unico argine serio arriva dall’autorità americana per la concorrenza: nel 2021 la Federal Trade Commission ha bandito SpyFone e il suo amministratore delegato dal mercato della sorveglianza, obbligandoli a cancellare i dati e ad avvisare le persone spiate. Quel dirigente ha poi chiesto di togliersi l’ordine di dosso, e a dicembre 2025 la stessa autorità ha rifiutato, perché non aveva dimostrato che fosse cambiato niente, né nei fatti né nel diritto.
Tre cliniche in un paese di trecentotrenta milioni di persone, e in mezzo un chatbot che risponde in due secondi con il tono di chi sa. Quel tono, nello studio, è l’unica cosa che i modelli specializzati hanno imparato meglio degli altri.
Immagini: OpenAI / Digital Trends, Anthropic
