Physical Address
304 North Cardinal St.
Dorchester Center, MA 02124
Generare dati per addestrare agenti AI è da sempre un lavoro per tentativi: si inventa una richiesta utente e si spera che il modello trovi una soluzione. ToolGrad, presentato da Google Research il 10 settembre 2026 e accettato ad ACL 2026, ribalta la sequenza e porta il pass rate al 99,8%. La conseguenza pratica è che dataset complessi per il tool-use smettono di essere un collo di bottiglia economico.
Prima la catena API, poi il prompt dell'utente
ToolGrad costruisce prima una catena di tool-use verificata e solo dopo annota la query utente corrispondente. L'approccio prevalente fa l'opposto: campiona un pool di API, genera un'istruzione ipotetica e manda un agente in ricerca depth-first della soluzione. Una soluzione esplicita contiene più informazione di una domanda, quindi l'annotazione richiede un solo passaggio dell'LLM.
Il cambio di paradigma si misura sul confronto con ToolBench: la generazione query-first con agente DFS produce dati meno complessi e con pass rate basso, mentre ToolGrad ottiene catene più lunghe (long-horizon) a costo inferiore. Il database di partenza conta oltre 16.000 API reali.
Quattro moduli e i "gradienti testuali"
Il framework riprende i "gradienti testuali" di TextGrad — feedback descrittivo in linguaggio naturale prodotto da un critico LLM — e li sposta dall'ottimizzazione di un prompt statico alla costruzione iterativa di workflow API. Ogni ciclo alterna quattro moduli:
- API Proposer, che restringe un insieme campionato di API a pochi candidati;
- API Executors, che le testano in parallelo generando report dettagliati;
- API Selector, che sceglie la chiamata migliore e la aggiunge al workflow;
- LLM Updater, che riscrive query utente e risposta AI in base al nuovo set di API.
Il risultato di ogni iterazione è un campione completo: prompt, workflow verificato e risposta finale.
ToolGrad-500: un 12B che sfiora i modelli proprietari
Con 500 campioni generati da gemini-2.5-flash-lite, i ricercatori hanno fine-tuned tre modelli Gemma-3 (1B, 4B, 12B) e li hanno valutati sul Berkeley Function Calling Leaderboard, che usa un set di tool diverso da ToolBench.
| Modello | Score BFCL |
|---|---|
| gemini-2.5-pro | 83,2 |
| ToolGrad-12B | 83,1 |
| claude-4.5 Opus | 82,8 |
| gpt-5 | 74,4 |
Il dato più interessante è la distanza dal gpt-5: 83,1 contro 74,4 significa 8,7 punti in più, ovvero un vantaggio dell'11,7% calcolato sul punteggio del modello OpenAI. E ToolGrad-12B resta a 0,1 punti da gemini-2.5-pro, con un modello addestrato su appena 500 esempi.
Cosa cambia per chi addestra agenti
ToolGrad-12B supera anche il proprio "teacher": il dataset è stato generato da gemini-2.5-flash-lite, eppure lo studente Gemma-3-12B lo batte. Questo scollega la qualità del dataset dalla potenza del modello che lo produce, e sposta il vantaggio competitivo sull'architettura di generazione. Per chi sviluppa agenti, il messaggio operativo è che un modello compatto da 12 miliardi di parametri, con 500 campioni ben costruiti, può competere con le API più costose sul mercato. I ricercatori indicano come prossimo passo l'estensione a ecosistemi di API più vasti e dinamici, con apprendimento continuo per la personalizzazione.
Fonti
