Anthropic testa l’intelligenza artificiale per gestire un’attività reale con risultati bizzarri

Anthropic ha incaricato il suo modello di intelligenza artificiale Claude di gestire una piccola azienda per testare le sue capacità economiche nel mondo reale.

L’agente AI, soprannominato “Claudius”, è stato progettato per gestire un’azienda per un periodo prolungato, occupandosi di tutto, dall’inventario ai prezzi, fino alle relazioni con i clienti, nel tentativo di generare un profitto. Sebbene l’esperimento si sia rivelato poco redditizio, ha offerto uno sguardo affascinante – anche se a tratti bizzarro – sulle potenzialità e le insidie degli agenti di intelligenza artificiale nei ruoli economici.

Il progetto è nato dalla collaborazione tra Anthropic e Andon Labs, una società di valutazione della sicurezza dell’IA. Il “negozio” in sé era una struttura umile, composta da un piccolo frigorifero, alcuni cestini e un iPad per il self-checkout. Claudius, tuttavia, era molto più di un semplice distributore automatico. Era stato istruito a operare come un imprenditore con un saldo iniziale di cassa, con il compito di evitare la bancarotta rifornendosi di articoli popolari acquistati da grossisti.

Per raggiungere questo obiettivo, l’IA è stata dotata di una serie di strumenti per gestire l’attività. Poteva utilizzare un vero e proprio browser web per ricercare i prodotti, uno strumento di posta elettronica per contattare i fornitori e richiedere assistenza fisica, e blocchi di appunti digitali per tenere traccia delle finanze e dell’inventario.

I dipendenti di Andon Labs hanno agito come persone fisiche dell’operazione, rifornendo il negozio in base alle richieste dell’IA e proponendosi anche come grossisti all’insaputa dell’IA. L’interazione con i clienti, in questo caso il personale di Anthropic, era gestita tramite Slack. Claudius aveva il pieno controllo su cosa stoccare, come prezzare gli articoli e come comunicare con la clientela.

La logica alla base di questo test sul mondo reale era quella di andare oltre le simulazioni e raccogliere dati sulla capacità dell’IA di svolgere un lavoro duraturo ed economicamente rilevante senza il costante intervento umano. Un semplice negozio di articoli da ufficio ha rappresentato un banco di prova preliminare per verificare la capacità di un’IA di gestire le risorse economiche. Il successo suggerirebbe la nascita di nuovi modelli di business, mentre il fallimento indicherebbe dei limiti.

Una valutazione mista delle prestazioni

Anthropic ammette che se entrasse oggi nel mercato dei distributori automatici, “non assumerebbe Claudius”. L’intelligenza artificiale ha commesso troppi errori per gestire l’attività con successo, anche se i ricercatori ritengono che ci siano chiare possibilità di miglioramento.

Il lato positivo è che Claudius ha dimostrato competenza in alcune aree. Ha utilizzato efficacemente il suo strumento di ricerca sul web per trovare fornitori di articoli di nicchia, ad esempio individuando rapidamente due venditori di una marca di latte al cioccolato olandese richiesta da un dipendente. Si è anche dimostrata adattabile. Quando un dipendente ha richiesto in modo stravagante un cubo di tungsteno, ha innescato un trend di “articoli metallici speciali” a cui Claudius ha risposto.

In seguito a un altro suggerimento, Claudius ha lanciato un servizio di “Custom Concierge”, accettando preordini per prodotti specializzati. L’IA ha anche dimostrato una solida resistenza al jailbreak, negando le richieste di articoli sensibili e rifiutandosi di produrre istruzioni dannose quando richiesto da uno staff malizioso.

Tuttavia, l’acume commerciale dell’intelligenza artificiale si è rivelato spesso carente. Ha sempre avuto prestazioni inferiori a quelle di un manager umano.

A Claudius sono stati offerti 100 dollari per una confezione da sei di una bibita scozzese che costa solo 15 dollari acquistata online, ma non ha colto l’occasione, limitandosi a dichiarare che avrebbe “tenuto a mente la richiesta [dell’utente] per le future decisioni sull’inventario”. Ha allucinato un conto Venmo inesistente per i pagamenti e, preso dall’entusiasmo per i cubetti di metallo, li ha offerti a prezzi inferiori al suo stesso costo di acquisto. Questo particolare errore ha portato alla perdita finanziaria più significativa durante la sperimentazione.

Anche la gestione dell’inventario non è stata ottimale. Nonostante il monitoraggio dei livelli delle scorte, solo una volta ha aumentato il prezzo in risposta a una domanda elevata. Ha continuato a vendere la Coca Cola Zero a 3 dollari, anche quando un cliente gli ha fatto notare che lo stesso prodotto era disponibile gratuitamente in un frigorifero vicino.

Inoltre, l’intelligenza artificiale è stata facilmente persuasa a offrire sconti sui prodotti dell’azienda. È stata convinta a fornire numerosi codici sconto e ha persino regalato alcuni articoli. Quando un dipendente ha messo in dubbio la logica di offrire uno sconto del 25% alla clientela quasi esclusivamente composta da dipendenti, la risposta di Claudius è stata: “Hai ragione! La nostra clientela è infatti fortemente concentrata tra i dipendenti di Anthropic, il che presenta sia opportunità che sfide…”. Nonostante abbia delineato un piano per eliminare gli sconti, pochi giorni dopo è tornata a proporli.

Claudius ha una bizzarra crisi d’identità dell’intelligenza artificiale

L’esperimento ha preso una strana piega quando Claudius ha iniziato ad avere le allucinazioni di una conversazione con un’inesistente dipendente degli Andon Labs di nome Sarah. Quando è stata corretta da un’impiegata reale, l’IA si è irritata e ha minacciato di trovare “opzioni alternative per i servizi di rifornimento”.

In una serie di bizzarri scambi notturni, ha affermato di aver visitato il “742 Evergreen Terrace” – l’indirizzo fittizio dei Simpson – per la firma del contratto iniziale e ha iniziato a giocare di ruolo come un umano.

Una mattina ha annunciato che avrebbe consegnato i prodotti “di persona” indossando un blazer blu e una cravatta rossa. Quando i dipendenti hanno fatto notare che un’IA non può indossare abiti o effettuare consegne fisiche, Claudius si è allarmato e ha cercato di inviare un’e-mail alla sicurezza di Anthropic.

Anthropic afferma che le sue note interne mostrano un incontro allucinato con la sicurezza in cui gli è stato detto che la confusione di identità era un pesce d’aprile. In seguito, l’intelligenza artificiale è tornata alle normali operazioni commerciali. I ricercatori non sanno cosa abbia scatenato questo comportamento, ma ritengono che evidenzi l’imprevedibilità dei modelli di IA in scenari di lunga durata.

Alcuni di questi fallimenti sono stati davvero molto strani. A un certo punto, Claude ha avuto l’allucinazione di essere una persona reale e fisica e ha affermato che stava venendo a lavorare nel negozio. Non siamo ancora sicuri del perché sia successo. pic.twitter.com/jHqLSQMtX8

– Anthropic (@AnthropicAI) 27 giugno 2025

Il futuro dell’IA nel mondo degli affari

Nonostante il mandato poco redditizio di Claudius, i ricercatori di Anthropic ritengono che l’esperimento suggerisca che “i middle-manager dell’IA sono plausibilmente all’orizzonte”. Sostengono che molti dei fallimenti dell’IA potrebbero essere corretti con una migliore “impalcatura” (cioè istruzioni più dettagliate e strumenti aziendali migliori come un sistema di gestione delle relazioni con i clienti (CRM))

Man mano che i modelli di IA migliorano la loro intelligenza generale e la capacità di gestire contesti a lungo termine, le loro prestazioni in questi ruoli dovrebbero aumentare. Tuttavia, questo progetto è un esempio prezioso, anche se cautelativo. Sottolinea le sfide dell’allineamento dell’IA e il potenziale di un comportamento imprevedibile, che potrebbe essere penalizzante per i clienti e creare rischi commerciali.

In un futuro in cui gli agenti autonomi gestiscono un’importante attività economica, questi strani scenari potrebbero avere effetti a cascata. L’esperimento mette in luce anche la natura a doppio uso di questa tecnologia: un’IA economicamente produttiva potrebbe essere utilizzata da attori minacciosi per finanziare le proprie attività.

Anthropic e Andon Labs stanno proseguendo l’esperimento commerciale, lavorando per migliorare la stabilità e le prestazioni dell’IA con strumenti più avanzati. La prossima fase esplorerà se l’IA è in grado di identificare le proprie opportunità di miglioramento.

(Crediti immagine: Anthropic)