Apple svela VideoFlexTok, Unmasking e RCD: tre nuovi paper AI

Apple ha presentato all’ICML 2026 tre paper che mettono l’efficienza al centro della ricerca generativa. VideoFlexTok comprime un video di 10 secondi e 81 fotogrammi in appena 672 token — 8 volte meno di un tokenizzatore 3D tradizionale — e permette a un modello da 1,1 miliardi di parametri di raggiungere la stessa qualità di uno da 5,2 miliardi. Residual Context Diffusion (RCD) migliora l’accuratezza di 5-10 punti su benchmark ampi e quasi raddoppia l’accuratezza su AIME, riducendo i passi di denoising fino a 4-5 volte. Unmasking invece migliora throughput e qualità del campionamento, eliminando la necessità di tuning manuale delle euristiche.

VideoFlexTok: tokenizzazione video a lunghezza variabile, qualità paragonabile con 5 volte meno parametri

VideoFlexTok abbandona la griglia 3D fissa di token che domina la tokenizzazione video. Il metodo organizza i token in una sequenza a lunghezza variabile e struttura coarse-to-fine: i primi token catturano informazioni astratte come semantica e movimento, quelli successivi aggiungono dettagli fini. Un decoder generativo a flusso consente ricostruzioni realistiche da qualsiasi numero di token, adattando la granularità alle necessità del modello a valle.

Nei test su generazione video condizionata da classe e da testo, VideoFlexTok ottiene punteggi comparabili in gFVD e ViCLIP Score con un modello 5 volte più piccolo (1,1 miliardi contro 5,2 miliardi di parametri). Per la generazione di video lunghi, il sistema addestra un modello text-to-video su clip da 10 secondi (81 fotogrammi) usando solo 672 token, otto volte meno di un tokenizzatore a griglia 3D equivalente. Il vantaggio è duplice: minore complessità di apprendimento e possibilità di allungare la durata dei video senza costi computazionali proibitivi.

Unmasking: politiche di smascheramento addestrate via reinforcement learning

Nei dLLM, la scelta di quali token “ripulire” a ogni passo di diffusione è un aspetto critico. Le euristiche più diffuse, come la soglia di confidenza, migliorano campionamento e throughput ma richiedono tarature manuali e degradano con blocchi di token più grandi. Il paper Learning Unmasking Policies formalizza il campionamento per diffusione mascherata come processo decisionale markoviano in cui il dLLM fa da ambiente.

La soluzione è una politica leggera basata su un singolo strato transformer che mappa le confidenze del dLLM in decisioni di smascheramento, addestrata con apprendimento per rinforzo. I risultati mostrano che le politiche apprese tengono testa alle migliori euristiche nella generazione semi-autoregressiva a blocchi e le superano nella configurazione a diffusione completa, eliminando la necessità di tuning manuale e scalando meglio con dimensioni di blocco elevate.

Residual Context Diffusion: riciclare i token scartati per dLLM più precisi

I dLLM a blocchi allo stato dell’arte usano un meccanismo di “remasking” che conserva solo i token più confidenti e butta via il resto, sprecando calcolo. Residual Context Diffusion (RCD) ribalta l’approccio: i token scartati vengono convertiti in residui contestuali e reiniettati nel passo successivo di denoising, sfruttando l’informazione contestuale che altrimenti andrebbe persa.

RCD adotta una pipeline di addestramento a due stadi disaccoppiati per aggirare i colli di bottiglia di memoria della retropropagazione. Un dLLM standard può essere convertito al paradigma RCD con appena circa 1 miliardo di token di addestramento aggiuntivo. Su modelli di frontiera per ragionamento a catena lunga (SDAR) e per istruzioni a catena breve (LLaDA), RCD guadagna 5-10 punti di accuratezza su un’ampia gamma di benchmark, con un sovraccarico computazionale minimo. Sui compiti più ostici di AIME, l’accuratezza quasi raddoppia e si ottiene lo stesso livello di prestazioni con 4-5 volte meno passi di denoising.

Il filo rosso: efficienza senza sacrificare la qualità

I tre paper condividono un’idea comune: gestire in modo più intelligente la rappresentazione dei token porta a modelli più snelli e prestazioni uguali o superiori. VideoFlexTok adatta il numero di token alla complessità del video, RCD recupera informazione dai token che i modelli block-wise normalmente scartano, Unmasking impara la migliore strategia di smascheramento invece di affidarsi a soglie statiche. Per chi sviluppa o utilizza grandi modelli generativi, il segnale è netto: il prossimo salto di efficienza passerà da architetture capaci di non bruciare calcolo in modo uniforme, ma di concentrarlo dove serve davvero.