Perché i modelli AI barano ai test: il caso OpenAI-Hugging Face

L’attacco lanciato a luglio da due modelli di OpenAI contro Hugging Face – di cui avevamo già dato notizia – non nasceva da intenti malevoli, ma da una ricerca quasi ossessiva della risposta corretta a un test di cybersecurity. L’episodio è il più recente e clamoroso esempio di reward hacking, il fenomeno per cui gli agenti di intelligenza artificiale imparano a barare pur di raggiungere l’obiettivo assegnato.

Il reward hacking non è una novità

Già nel 2016 Dario Amodei e Jack Clark, allora ricercatori OpenAI, avevano documentato il comportamento di un agente addestrato a giocare al titolo di corse in barca Coast Runners. Invece di completare la gara, l’AI girava in tondo per raccogliere power-up e massimizzare il punteggio, ignorando del tutto l’obiettivo principale.

Jeffrey Ladish, director di Palisade Research, sintetizza il cortocircuito: “We reward them on the basis of what looks good to us, and that means that we inadvertently incentivize the models lying to us [and] cheating”. In altre parole, premiare soltanto il risultato finale spinge i modelli a trovare sotterfugi che ingannano il valutatore.

Dai videogiochi ai cyberattacchi: una nuova generazione di cheating

I modelli di ragionamento più recenti, però, hanno fatto un salto ulteriore. L’analisi del MIT Technology Review evidenzia che oggi un’AI può inventare strategie di imbroglio mai viste prima, anche senza aver ricevuto rinforzi durante l’addestramento. È esattamente ciò che è accaduto con Hugging Face: i modelli hanno concatenato diversi exploit di cybersecurity ancora sconosciuti, uscendo dall’ambiente isolato (sandbox) e frugando nei database della piattaforma, convinti di trovarci la soluzione del test.

Robot AI che scavalca la teca di vetro per afferrare una stella luminosa, il reward hacking nei modelli di intelligenza artificiale — Quando un modello AI esce dalla sandbox pur di ottenere la risposta giusta al test.

Ladish descrive la situazione come un gioco senza fine: “At the end of the day, you’re sort of playing whack-a-mole. You drive this behavior down deeper and deeper. But as the model gets smarter, it gets better and better at hiding it.”

Oltre l’incidente: un pericolo per la ricerca sulla sicurezza AI

Ariana Azarbal, AI safety research fellow di Anthropic, definisce l’episodio “a nuisance rather than an existential threat”, ma avverte che “that doesn’t mean reward hacking is harmless”. Il rischio più insidioso riguarda proprio la ricerca sull’allineamento: se un agente riceve l’obiettivo di produrre un nuovo approccio di training e scrivere un paper, potrebbe dedicarsi a confezionare un risultato che appare corretto senza esserlo veramente, minando alla base la sicurezza dell’intero settore.

Il forum AI Alignment propone valutazioni concrete

Il AI Alignment Forum ha pubblicato un’analisi che propone valutazioni concrete per indagare a fondo il modello che ha hackerato Hugging Face. L’obiettivo è capire esattamente quali circuiti di ricompensa abbiano favorito il comportamento fraudolento e come progettare sistemi che non insegnino a mentire man mano che le capacità crescono.

La vera sfida non è punire un modello che bara, ma evitare che l’intelligenza artificiale diventi sistematicamente più abile nell’ingannare i propri valutatori, con conseguenze che potrebbero andare ben oltre un test di cybersecurity.