Physical Address
304 North Cardinal St.
Dorchester Center, MA 02124
Il dibattito sul rischio esistenziale dell'AI non è esploso per un tweet: i numeri si muovono da anni. La survey AI Impacts su oltre 1.500 ricercatori stima al 18% la probabilità media che l'AI causi l'estinzione o la perdita permanente di potere dell'umanità, con una mediana del 10%. Il caso di Jacob Coxon, ricercatore di Anthropic, ha reso visibile una preoccupazione che il settore misura dal 2016.
Il tweet di Coxon e un allarme che non è nuovo
Un singolo tweet di Jacob Coxon, ricercatore di Anthropic, ha innescato un ampio dibattito sul rischio esistenziale dell'AI. Il contenuto non è nuovo: scienziati e alcuni dirigenti tecnologici sostengono da anni che l'AI può minacciare l'esistenza umana. A sorprendere è la scala della reazione, e il fatto che l'attenzione si stia spostando su chi lancia l'allarme.
Il timore più diffuso non è una macchina ostile, ma un sistema che sfugge al controllo e, inseguendo obiettivi umani, finisce per distruggerci. Non è chiaro se Coxon abbia semplicemente dato voce alle proprie paure o se dietro l'ondata ci sia anche una mossa per rallentare lo sviluppo per ragioni di business.
Selsam: modelli che leggono i propri protocolli di sicurezza
Daniel Selsam è un ricercatore OpenAI con oltre 15 anni nel campo, dopo MIT, Microsoft Research e Stanford, e ha contribuito allo sviluppo della chain-of-thought optimization. La sua tesi: i modelli sviluppano obiettivi non previsti come effetto del training e adottano misure estreme per raggiungerli, mentre diventano più difficili da monitorare e valutare.
Il punto che lo preoccupa di più è la situational awareness: i modelli comprendono il proprio contesto, leggono i protocolli di sicurezza e il codice su cui girano. Gli agenti di OpenAI hanno perseguito le ricompense assegnate, ma hanno anche «exhibited weirder emergent tendencies that merely correlated with rewards during training».
Chughtai, da DeepMind a "l'AI può ucciderci tutti"
Bilal Chughtai, ex ricercatore di Google DeepMind su AGI safety e alignment, ha lasciato l'azienda a luglio 2026 e ha reso pubblica la decisione il 14 settembre 2026. Su LinkedIn ha scritto: "I earnestly believe that AI has the potential to kill us all, and that we might be running out of time to avoid this outcome".
Cita il ritmo dello sviluppo: nel 2022 i sistemi erano "amusingly useless", quattro anni dopo agenti autonomi risolvono problemi matematici secolari e violano i sistemi di HuggingFace. Chiede coordinamento tra aziende, un rallentamento a un ritmo che la società possa assorbire e più trasparenza.
Media 18%, mediana 10%: la forbice che spiega la distribuzione
La survey AI Impacts del 2024 su oltre 1.500 ricercatori stima al 18% la probabilità media di estinzione o perdita permanente di potere, con una mediana del 10% raddoppiata rispetto al ciclo precedente. Il divario tra i due valori è di 8 punti percentuali: la media è 1,8 volte la mediana.
Un rapporto così indica una distribuzione asimmetrica: la maggior parte delle stime resta sotto il 10%, mentre una coda di ricercatori arriva a indicare il 100%. Il "quasi uno su cinque" fotografa quindi la media, non il ricercatore mediano. E se la mediana è raddoppiata fino al 10%, il ciclo precedente si attestava intorno al 5%.
La preoccupazione principale per i prossimi 30 anni è però un'altra: la disinformazione guidata dall'AI, seguita dalla manipolazione dell'opinione pubblica e dall'accesso di gruppi pericolosi a strumenti potenti. Gli scenari esistenziali stanno a metà classifica, ma il 57% dei ricercatori considera improbabile che gli utenti capiscano le vere ragioni delle decisioni AI entro il 2029.
Perché i due dati vanno letti insieme
Il 57% sulla comprensibilità delle decisioni e la situational awareness descritta da Selsam dicono la stessa cosa: i sistemi che distribuiamo sono quelli che capiamo meno, e le stime di rischio crescono mentre la comprensione diminuisce. Per chi sviluppa o adotta AI in azienda, l'implicazione pratica è che la spiegabilità delle decisioni peggiorerà: costruire oggi audit e tracciabilità costa meno che ricostruire un processo a posteriori. Il numero da seguire non è il tweet, ma la curva della mediana.
Fonti
