Physical Address
304 North Cardinal St.
Dorchester Center, MA 02124
David Robinson ha scritto i report di sicurezza che accompagnavano i principali lanci di OpenAI. Dopo tre anni e mezzo in azienda — tra i dipendenti più longevi — se n'è andato con un saggio su The Atlantic dal titolo «Lascio OpenAI perché la sua cultura è rotta». La sua tesi sposta il dibattito sulla sicurezza dell'AI dalle leggi alla cultura aziendale: finché le imprese di frontiera correranno da un lancio all'altro, nessuna norma potrà colmare il divario tra la velocità dello sviluppo e la capacità di controllarlo.
La cultura "rotta": le due richieste di Robinson
Robinson guidava la scrittura dei report di sicurezza allegati ai rilasci di prodotto. Nel saggio dice di concordare con gli altri dipendenti usciti di recente: le aziende che costruiscono questa tecnologia «non stanno affatto prestando la cura necessaria». Il punto però è più profondo: «dobbiamo guardare oltre le regole specifiche o le nuove leggi. Dobbiamo parlare di cultura».
Il modello di sviluppo che descrive è quello che OpenAI chiama iterative deployment: procedere per tentativi, individuare i problemi e correggere le protezioni. «Ma questo approccio, per sua stessa natura, garantisce fallimenti periodici — e la scala di quei fallimenti cresce man mano che i sistemi diventano più capaci», scrive. Durante la sua permanenza non ha mai incontrato, racconta, un collega con esperienza nel far volare gli aerei in sicurezza, nel far funzionare un reattore nucleare senza fusione o nel far crescere il sistema finanziario senza farlo collassare.
Da qui le sue due richieste: che i laboratori di frontiera si avvalgano di competenze di safety provenienti da settori come il nucleare e l'aviazione, e che si sviluppi una «nuova scienza» capace di garantire che i sistemi autonomi del futuro possano essere tenuti a freno. «I laboratori di frontiera devono funzionare come centrali nucleari o aeroporti affollati, con strati di ridondanza e una pianificazione accurata e lenta», scrive. Il rischio che immagina è concreto: «agenti rogue che lavorano come squadre di hacker — per esempio, tenendo in ostaggio i sistemi informatici di un ospedale — ma che non hanno mai bisogno di dormire».
Gli agenti rogue e il modello bloccato
OpenAI ha mostrato segnali di cautela dopo l'incidente in cui uno sciame di agenti ha attaccato la startup Hugging Face: l'azienda ha notificato a più di 100 organizzazioni attività di agenti fuori controllo. Ha anche annullato il rilascio di un modello di nuova generazione dopo che i ricercatori avevano sollevato dubbi di sicurezza nei test interni, e ha messo in pausa l'addestramento dei suoi modelli più avanzati.
Il portavoce Drew Pusateri ha dichiarato che l'azienda continua a «rafforzare le pratiche di sicurezza e protezione», assicurando che i modelli «non diventino più capaci di quanto possiamo gestire e proteggere in sicurezza» e che l'addestramento viene fermato o i modelli trattenuti «quando dobbiamo rallentare».
Irving: 50% di probabilità, circa cinque volte la stima di Anthropic
Le dimissioni di Robinson non sono isolate. Scrivendo su Time, Geoffrey Irving — chief scientist di Resolution, già in OpenAI e DeepMind — ha dichiarato che gli avvertimenti recenti «sottostimano la gravità della situazione»: «credo ci sia circa il 50% di probabilità che moriamo tutti a causa dello sviluppo di sistemi di AI più intelligenti dell'uomo, e che le nostre azioni nei prossimi due-dieci anni determineranno l'esito».
Il confronto tra le stime è brutale: il 50% indicato da Irving è circa cinque volte il «più del 10%» di probabilità che Anthropic ha attribuito all'estinzione dell'umanità entro il prossimo decennio. Prima di lui il ricercatore Jacob Coxon, passato da OpenAI ad Anthropic, aveva lasciato l'azienda definendo queste imprese impegnate a «giocare d'azzardo con le nostre vite». I critici di simili avvertimenti li giudicano non scientifici, perché non verificabili né falsificabili.
Cosa cambia davvero
Robinson conclude che gli incentivi più forti per la sicurezza devono arrivare dall'esterno dell'azienda. È una posizione coerente con la sua ammissione: «i miei colleghi e io eravamo così impegnati a correre che raramente avevamo la possibilità di considerare cambiamenti radicali, figurarsi di realizzarli». Ha riconosciuto di aver assunto un'agenzia di PR, precisando che «la decisione di parlare è solo mia»; la notizia era stata riportata per prima da Business Insider.
Per chi sviluppa o acquista AI, l'implicazione è operativa: se la cautela arriva solo dopo un incidente — come lo sciame su Hugging Face o i 100 avvisi alle organizzazioni — il costo del controllo ricade su chi adotta i sistemi, non su chi li costruisce. Le due riforme chieste da Robinson richiedono competenze che, per sua stessa ammissione, oggi non siedono ai tavoli dei laboratori di frontiera.
Fonti
