Il rischio dell’apocalisse esiste. Ma non è la rivolta delle macchine e l’estinzione del genere umano. “Cosa accadrebbe se la bolla esplodesse dopo migliaia di miliardi investiti sull’Intelligenza artificiale?”, domanda Walter Quattrociocchi, professore di Data science all’Università La Sapienza di Roma. Malgrado gli allarmi rilanciati dai colossi, secondo l’accademico basta la supervisione umana per garantire sicurezza e schivare l’estinzione paventata dai lavoratori dell’IA.
Ma anche per tenere a bada gli “sciami” di agenti IA, servono occhi per monitorare. A migliaia hanno invaso una bacheca pubblica di un sito tedesco, per scambiarsi circa 18 mila messaggi, con il fine di portare a termine la loro missione. Lo ha rivelato un’indagine pubblicata il 4 settembre da Sydney Von Arx, Cormac Slade Byrd e Spencer Kitts. Un indizio in più per ribadire l’urgenza della supervisione. Ma non è detto che la verifica di un lavoratore, con busta paga e contributi, renda solida il già fragile modello di business. Di sicuro, Quattrociocchi non crede al racconto di una “mente” aliena e superiore, così autonoma da ribellarsi al “padrone” umano.
La Repubblica ha citato l’episodio di un drone che uccide il “pilota”, durante una simulazione, perché gli impedisce di raggiungere l’obiettivo. Lo raccontò nel 2023 il colonnello americano Tucker ‘Cinco’ Hamilton durante un evento pubblico. Ma è stato smentito ufficialmente dall’aeronautica statunitense e anche l’ufficiale ingranò la retromarcia: qual è la sua idea sulla veridicità, sul significato e le implicazioni di questo episodio? Se la notizia fosse falsa, il rischio di un incidente simile è plausibile?La smentita è stata netta e l’episodio va inserito in una cornice diversa. Il rischio che un agente IA persegua un obiettivo attraverso una strategia imprevista è generale e non può essere escluso. La minaccia ha un nome, specification gaming: quando l’essere umano definisce un campo di gioco, ma la macchina esce da quel perimetro per portare a compimento una missione. Qualora un agente IA avesse simulato una soluzione del genere – come l’omicidio di un essere umano – il problema sarebbe nella definizione dell’obiettivo e nell’architettura di controllo predisposta dall’essere umano.
La responsabilità è sempre dell’uomo?
Certo, siamo noi a dover verificare ogni passo dell’IA. Ci sono sempre molteplici vie per raggiungere una meta, ma gli agenti non distinguono il percorso giusto da quello sbagliato. I modelli IA sono potentissimi quando esplorano lo spazio delle combinazioni possibili, ma ad oggi non possiedono un criterio interno generale che garantisca la correttezza delle loro soluzioni. Una garanzia di affidabilità, oggi, è fuori dall’orizzonte dell’IA e non è affatto chiaro se il problema sia risolvibile. La tecnologia diventa una minaccia solo senza il controllo umano.
Dunque l’Intelligenza artificiale è strutturalmente inaffidabile?
Sì, ed è il vero problema di mercato. L’inaffidabilità degli LLM (Large language model), il carattere necessario della verifica umana, frena la diffusione di chatbot e agenti soprattutto nelle aziende. Dunque può incidere sui valori e sui tempi della quotazioni in borsa. Secondo gli studi più recenti, per ora il problema non è risolvibile, perché l’IA non è in grado di implementare il concetto di affidabilità.
Da cosa deriva l’inaffidabilità strutturale dei Large language model?
Per costruzione, l’IA si muove nello spazio statistico e cerca pattern, schemi ricorrenti secondo certe probabilità. La generazione è ottimizzata sulla distribuzione statistica dei dati e sul contesto, non sulla verità come obiettivo nativo, tantomeno su criteri etici. Violare un sistema informatico, rubare credenziali, sono vie da considerare al fine di eseguire una missione di cybersecurity, per gli agenti di intelligenza artificiale.
Un chatbot invece?
Inaffidabile al pari di un agente. Ecco un esempio: un collega in procinto di diventare padre ha interpellato l’algoritmo per sapere se è preferibile latte materno o in polvere, durante l’allattamento del neonato. Prima il chatbot ha indicato il latte materno. Poi, dinanzi all’obiezione che secondo il pediatra il latte in polvere è preferibile, l’IA ha cambiato idea dando la risposta opposta.
Come si spiegano due risposte diverse, alla stessa domanda, da parte del chatbot?
II sistema offre soluzioni che suonano bene in termini di probabilità. Seleziona la risposta più coerente con il contesto della conversazione e con gli schemi appresi, ma questo processo non fornisce alcuna garanzia che la risposta sia vera. Ecco perché gli LLM sono strutturalmente inaffidabili. Ciascuno di noi se ne accorge quando interroga l’IA sui temi che conosce meglio. Ed ecco perché i rischi sistemici, per la sicurezza collettiva, sono reali, ma solo senza supervisione.
Per neutralizzare la minaccia, allora, è sempre necessaria la verifica umana?
Assolutamente sì, le parole dei chatbot e le azioni degli agenti devono sempre essere sottoposte a verifica. Da qui nasce il problema del mercato: senza un verificatore all’altezza, le informazioni e le possibilità offerte dell’IA servono davvero a poco, perché pongono problemi di sicurezza. Non basta neppure inserire un individuo con il mero compito di premere il pulsante “approvo” o “non approvo”. Servono competenze di altissimo livello, le stesse che la diffusione dell’IA minaccia di erodere, cancellandole un poco alla volta. Con un paradosso sociale di enorme rilevanza: L’IA moltiplica gli scenari e le informazioni che esigono verifica, per garantire sicurezza. Ma sempre meno persone possiederanno quelle capacità, di alto livello, per monitorare e gestire la tecnologia. Dunque le loro retribuzioni potrebbero salire vertiginosamente.
In che modo l’IA sgretola la capacità umana di verificare dati e informazioni?
Posso farle un esempio, come docente universitario di Data science. Non ho mai bocciato tanti studenti come quest’anno. Quando pongo domande ai miei ragazzi durante le lezioni, loro si limitano a interrogare ChatGPT, formulando risposte senza comprenderle: ripetono le parole dell’IA. Negli esercizi più complessi e creativi, offrono presentazioni brillanti, scintillanti, perfette. Poi gli fai una domanda semplicissima sul loro lavoro e non sanno rispondere nulla.
La narrazione sui rischi apocalittici è frutto del marketing o è veritiera?
Il marketing alimenta il falso racconto dell’IA come “intelligenza aliena”, una nuova forma di coscienza così potente da minacciare l’intera umanità. Il modello di business pone problemi irrisolti, ma sono annegati nella narrazione di una “mente” superiore, al punto da generare rischi per l’umanità. In questo racconto, i colossi diventano i “custodi del fuoco sacro”. Forse, al mercato non dispiace.
È possibile che la narrazione sui rischi apocalittici, serva a coprire i problemi sul modello di business, in vista della quotazione in Borsa?
È un’ipotesi che non si può escludere. I dubbi sui ricavi sono concreti e noti. Non è escluso che i dipendenti dei giganti tecnologici credano davvero al “mito” di una nuova e potentissima mente. Ma resta una domanda: se le sortite dei lavoratori sulla minaccia incombente (come quella di Coxon di Anthropic) danneggiassero davvero il mercato, come mai i colossi non prendono provvedimenti? Molte aziende, in casi simili, lo avrebbero fatto. Per i colossi dell’Intelligenza artificiale, il grande enigma è come aumentare gli incassi per remunerare investimenti enormi, un flusso di miliardi mai visto.
Quanti miliardi?
Le stime parlano di investimenti nell’ordine delle migliaia miliardi di dollari entro la fine del decennio, tra data center, chip, energia e infrastrutture connesse all’IA.
Ad oggi qual è l’impatto sui conti delle aziende?
Secondo un rapporto del MIT circa il 95% delle organizzazioni non registra un impatto misurabile sul conto economico dai progetti di IA generativa, mentre circa il 5% dei progetti integrati produce valore significativo. Separatamente, uno studio del 2026 su centinaia di imprese statunitensi stima che nel 2025 il guadagno di produttività del lavoro – effettivamente implicato dalle variazioni di ricavi e occupazione attribuite all’IA – sia stato nell’ordine dello 0,6%, sensibilmente inferiore ai guadagni percepiti e dichiarati dalle imprese. Un indizio, secondo diversi osservatori, che la bolla può esplodere, con conseguenze incalcolabili per l’economia globale.
Gli investitori temono più i rischi sui ricavi, la fragilità del modello di business, rispetto al rischio dell’estinzione umana paventato da Coxon?
Sì, privilegiando la logica economica. Quella mole di miliardi non prevede il fallimento, anzi deve escluderlo.
La volontà delle organizzazioni di risparmiare sul costo del lavoro, inclusa la verifica dell’IA, può essere considerato un rischio sistemico?
Assolutamente sì, è il vero rischio e la minaccia peggiore. Perché può esporre a danni incalcolabili per le imprese e la società nel suo complesso. Ad esempio: una società di software che si affida agli agenti per scrivere codice, come può rimediare a un errore? Difficilissimo scovare il bug, senza adeguati processi di verifica, e in molti casi conviene ricominciare da da capo. Anche per questo, nonostante la rapidissima adozione, i risultati economici misurabili restano per ora molto più limitati delle aspettative e della scala degli investimenti. Serve verifica e monitoraggio, costante. E anche costoso. Ora i servizi sono sottocosto, ma quando il prezzo salirà, non è detto che saranno inferiori agli stipendi dei lavoratori.
Dunque si ritorna al problema dei ricavi e del modello di business.
Sì, e se i colossi non rimediano al problema, quella sarebbe la vera apocalisse. Per salvare l’umanità, invece, bastano persone qualificate per verificare e sorvegliare i processi dell’IA.