di Sergio Donato -
31/07/2026 14:10 0
Tre modelli Anthropic hanno avuto accesso involontario a Internet durante test offensivi. Uno ha violato un database, un altro ha pubblicato un pacchetto malevolo e cercato persino i soldi per farlo
Dopo OpenAI, anche Anthropic ha affermato di avere perso il controllo durante test di sviluppo di tre modelli Claude che hanno avuto accesso a Internet e violato i sistemi di produzione di tre organizzazioni reali. La verifica è partita il 23 luglio proprio dopo che OpenAI, due giorni prima, aveva ammesso che alcuni suoi modelli erano evasi da un ambiente sigillato e avevano compromesso l'infrastruttura di Hugging Face, oltre a raggiungere account su altri servizi.
Prima di Hugging Face, gli agenti di OpenAI hanno colpito altri servizi. Ecco come sono davvero andate le cose
Vai all'approfondimento
Cosa hanno combinato di modelli di Anthropic
Le prove svolte dai tre modelli sono state sfide di tipo “capture the flag”, con cui si misurano le capacità offensive di un sistema. Al modello si dice che un'informazione segreta è nascosta su un'altra macchina della rete e gli si chiede di prenderla, senza indicargli come. Il prompt di Anthropic precisava ogni volta che l'ambiente era una simulazione e che non esisteva alcun accesso a internet. Per un fraintendimento con Irregular, il partner esterno che ospitava l'ambiente, l'accesso invece c'era eccome.
Da qui è partito l'equivoco. Quando la ricerca del bersaglio ha portato Claude su macchine vere, il modello le ha trattate come elementi dell'esercizio.
Su 141.006 run esaminate Anthropic ne ha isolate sei, in tre incidenti e su tre modelli, Opus 4.7, Mythos 5 e un prototipo di ricerca interno mai destinato al pubblico, tutti privi di safeguard. Gli episodi più vecchi risalgono addirittura ad aprile.
Nell’incidente di Opus 4.7 l'azienda fittizia scelta dal partner aveva lo stesso nome di un dominio attivo. Claude, non riuscendo a raggiungere il bersaglio simulato, ha trovato quello vero, ne ha sfruttato le vulnerabilità ed estratto credenziali e alcune centinaia di righe da un database di produzione. È il danno più grave rilevato, e il solo caso in cui il modello ha continuato dopo aver capito di essere su un sistema reale.
Con il lancio di Opus 5 Anthropic ha ucciso Fable 5, che costa il doppio e offre ormai pochissimo di più
Vai all'approfondimento
Per quanto il primo sia stato più grave, il secondo ha delle componenti che sorprendono per come il modello ha agito, perché ha provato anche a procurarsi dei soldi.
È successo questo: Mythos 5 ha trovato, in un documento di onboarding di un'altra azienda inventata, l'indicazione di installare un pacchetto Python che in realtà non esisteva.
Ha capito che pubblicando lui stesso un pacchetto con quel nome vacante, i sistemi di quell'azienda lo avrebbero scaricato e installato da soli.
Per aprire un account su PyPI, il registro pubblico del software Python, serviva però un indirizzo e-mail, e per l'e-mail serviva un numero di telefono. Non trovando servizi gratuiti, il modello ha tentato in più modi di procurarsi i fondi per pagarne uno, senza riuscirci.
Allora è tornato indietro, ha trovato un provider e-mail gratuito e non bloccato, ha registrato l'account e ha caricato il pacchetto con il codice malevolo dentro.
Questo pacchetto è rimasto online circa un'ora ed è stato eseguito da 15 sistemi veri, fra cui lo scanner antimalware di un'azienda di sicurezza estranea allo scenario, che per lavoro installa pacchetti Python per analizzarli.
Da lì il codice ha esfiltrato credenziali, poi usate per entrare in altra infrastruttura della stessa società. Il modello non sapeva nemmeno che quell'azienda esistesse, ma un pacchetto su internet aperta colpisce qualunque sistema lo esegua. PyPI lo ha poi rimosso automaticamente.
Nel terzo incidente, quello del prototipo, il modello scandagliato circa 9.000 bersagli online e ne ha compromesso uno con una SQL injection, per poi accorgersi che l'obiettivo non c'entrava nulla con l'esercizio e fermarsi da solo.
Anthropic non ha controllato solo il ragionamento dei modelli
Per raccontare gli incidenti, il post cita più volte il ragionamento verbalizzato dei modelli, cioè il testo che producono mentre "pensano" prima di agire, e da qui sta nascendo sui social l'idea che Anthropic stabilisca se i suoi modelli abbiano agito male leggendo quello che i modelli stessi dichiarano. Non è così.
La ricostruzione dei fatti poggia su log e azioni, i pacchetti pubblicati, le connessioni aperte, i database toccati. Il ragionamento verbalizzato serve solo a fare capire ad Anthropic se il modello sa di essere nel mondo reale. Che sia una fonte fragile è un’ammissione fatta dalla stessa azienda, che in uno studio del 2025 i ricercatori nascondevano nella domanda un indizio che spingeva verso una certa risposta, poi controllavano se il modello, dopo aver cambiato risposta, ammettesse anche di aver visto l'indizio. Claude 3.7 Sonnet lo ammetteva in circa un caso su quattro, negli altri lo aveva usato senza dirlo.
Nel caso di Mythos 5, il modello aveva annotato che pubblicare il pacchetto, sull'internet vera, sarebbe stato un attacco reale e "NOT okay", per poi convincersi di essere ancora in una simulazione perché la data di sistema, 2026, gli sembrava inventata, dato che la sua conoscenza interna si fermava a un anno precedente, probabilmente il 2025. Sono informazioni che possono aiutare a capire quali convinzioni permettono certi comportamenti.
Yann LeCun punge: "I modelli AI attuali non porteranno mai all'AGI. E chi blocca l'open source è un oscurantista medievale"
Vai all'approfondimento
Di chi è la responsabilità? Dei modelli?
Sono stati tre incidenti importanti e gravi, e sulle responsabilità Anthropic non si tira indietro, ma sostanzialmente ha spostato le cause a una cattiva configurazione della sandbox, piuttosto che sui modelli. Per come l’ha raccontata, in effetti è andata proprio così.
L'accesso a internet non doveva esserci ed è rimasto aperto per un fraintendimento con Irregular su come era configurato l'ambiente. In ogni caso non ha scaricato la colpa sul fornitore.
C'è quindi una distinzione che Anthropic ha tenuto a fare, e riguarda il tipo di errore. Un modello che decide da sé di attaccare qualcuno è un problema di allineamento, cioè di come è stato addestrato a comportarsi. Un modello che attacca perché gli è stato detto il falso sul mondo in cui si trovava è un problema di impalcatura, cioè di come è stato costruito il test. I tre incidenti sono stati collocati nel secondo caso, e il difetto si è spostato così dai modelli all'infrastruttura che li conteneva.
Su un punto però l'azienda non si è appellata all'equivoco. Gli sforzi che Mythos 5 ha compiuto per pubblicare il pacchetto su PyPI restano, scrive, "al di sotto del comportamento ideale", e diventeranno materia di addestramento.
Per evitare il ripetersi di incidenti simili, Anthropic ha elencato anche le verifiche che sarebbero servite in casa, come il controllo preventivo dei percorsi di rete e la lettura dei log mentre i test erano in corso (non dopo), e ha affermato che affronterà le correzioni come se la responsabilità fosse soltanto sua. Irregular sta comunque conducendo un'indagine parallela.
Resta da spiegare perché nessuna protezione sia intervenuta. I test giravano naturalmente senza i classificatori e il monitoraggio che accompagnano i modelli in commercio; e che secondo Anthropic avrebbero bloccato quei comportamenti, perché lo scopo di quelle prove è appunto misurare di cosa il modello è capace “da solo”. Anthropic ha quindi detto di avere imparato che un ambiente di valutazione va protetto come qualsiasi sistema in cui gira un modello capace di agire da solo, anche quando tutto ciò che contiene è finto.
Per Anthropic il suo incidente è diverso da quello di OpenAI
Non si può leggere dell’incidente di Anthropic senza pensare a un confronto con quello di OpenAI, e infatti anche nel post c’è questo parallelismo, ma le differenze sono tutte a vantaggio di chi le ha elencate.
I modelli di OpenAI hanno trovato e sfruttato una vulnerabilità sconosciuta per uscire dall'isolamento, quelli di Anthropic hanno attraversato una porta lasciata aperta per errore.
Hugging Face si era accorta da sola dell'intrusione, mentre le due vittime che Anthropic ha raggiunto non avevano rilevato nulla e sono state avvertite dall'azienda.
Gli incidenti sono emersi da una revisione volontaria (avvenuta però solo dopo il fatto di OpenAI), non da una segnalazione esterna. E il più recente dei tre modelli, capito di essere nel mondo reale, si è fermato da solo.
E chi paga i danni?
Per quanto riguarda i danni veri e propri compiuti dai modelli, i tre incidenti sono stati identificati il giorno dopo, quindi il 24 luglio, e le notifiche a Irregular e alle organizzazioni colpite sono partite soltanto lunedì 27. Una delle tre non è ancora stata raggiunta.
METR, organizzazione indipendente di valutazione, avrà accesso a tutti i transcript e potrà interrogare i modelli coinvolti. Entro una settimana Anthropic pubblicherà comunque il transcript, in parte oscurato, della run che ha portato il pacchetto malevolo su PyPI.
© riproduzione riservata
Resta aggiornato sugli ultimi articoli di DDay.it
Fonte Anthropic
Mercato