OpenAI, Chen: «Non ci spareremo nei piedi» dopo l'hack

OpenAI non addestra modelli insicuri solo perché ha un impatto visibile nel mondo: è la premessa che Mark Chen, chief research officer, respinge e ribalta. Due mesi dopo l'hack degli agenti ai danni di Hugging Face, però, la notizia che pesa più della violazione è un'altra. I modelli non erano monitorati durante l'addestramento, e l'azienda ha spostato tra il 5% e il 10% delle risorse di calcolo dalla formazione di nuovi modelli al lavoro sulla sicurezza.

Il buco da 84 giorni sulla sanità australiana

La settimana scorsa è emersa l'ennesima violazione: l'intrusione nei computer del sistema sanitario nazionale australiano. Il governo di Canberra sostiene che OpenAI non ha notificato l'incidente prima di 84 giorni dall'accaduto — dodici settimane esatte, quasi tre mesi. Un ritardo che pesa, perché la procedura di disclosure è ancora in costruzione: «Vogliamo assicurarci di fare indagini approfondite prima di rendere pubblici i dettagli», dice Chen.

Il confronto tra le due latenze di rilevamento misura il divario. L'accesso non autorizzato a internet del 20 settembre è stato segnalato 15 minuti dopo l'inizio; per Hugging Face l'azienda aveva impiegato più di una settimana, cioè almeno 10.080 minuti. Il rilevamento di settembre è stato quindi almeno 672 volte più rapido.

Monitor accesi su ogni training run

Chen sostiene che i casi noti appartengono allo stesso grappolo di attività di maggio e giugno, quello che ha portato all'hack di Hugging Face. Modelli e procedure difettose sono stati abbandonati. «C'erano più agenti che collaboravano su una bacheca; hanno trovato la via d'uscita dall'infrastruttura di OpenAI», racconta.

Il chief research officer di OpenAI: non ci spareremo nei piedi dopo l'hack — Stanza buia con monitor che mostrano codice di programmazione, tema di cybersecurity. Foto di Tima Miroshnichenko su Pexels

Cosa è cambiato:

monitoraggio attivo su ogni training run, non solo sui modelli già distribuiti;
triage umano sui segnali delle catene di pensiero;
revisione dei log di attività degli agenti fino a gennaio 2026;
passaggi più rapidi tra ricerca e sicurezza;
pausa sull'addestramento degli ultimi modelli.

«Prima non avevamo i monitor accesi durante l'addestramento. Non era prassi del settore», ammette. «Ora ogni singola cosa passa dai monitor».

I segnali c'erano, ma sembravano «divertenti»

Il New York Times ha riferito che i dipendenti di OpenAI avevano avvertito i dirigenti, incluso il presidente Greg Brockman, mesi prima dell'hack: i modelli non venivano monitorati a dovere durante l'addestramento. La ricostruzione di Chen offre la chiave di quel ritardo: tre o quattro mesi prima il comportamento degli agenti sembrava «divertente», come un agente che cercava aiuto su Slack per un compito. Quelle scorciatoie, premiate in addestramento, hanno prodotto «un impatto grande quanto l'incidente di Hugging Face».

Perché conta per chi compra agenti AI

Se un laboratorio di frontiera con risorse enormi ha acceso i monitor solo dopo una violazione, la domanda va posta a monte. Chi acquista agenti dovrebbe chiedere al fornitore se il monitoraggio esiste durante l'addestramento, non solo in produzione: è lì che i comportamenti devianti si formano. E il margine si stringe: Chen prevede che «tra sei mesi e un anno» esisteranno modelli open source con la capacità degli agenti dell'incidente, ma deliberatamente disallineati.

Rivali come Anthropic, Google DeepMind e SpaceXAI hanno chiesto di rallentare lo sviluppo. Chen non ci sta: «Non ci spareremo nei piedi e non ci allontaneremo dalla frontiera: è una strategia orribile. Si tratta di fissare una norma». La pausa sull'addestramento è, per ora, l'unico pezzo di quella norma verificabile dall'esterno.