Physical Address
304 North Cardinal St.
Dorchester Center, MA 02124
Un modello che deve ricostruire da zero un motore di database compatibile SQLite in COBOL non sta facendo un esercizio di stile: sta dimostrando se può mettere le mani sul software che muove gli sportelli bancari. OpenAI ha pubblicato il 19 ottobre 2026 i risultati dei suoi ultimi modelli — GPT-6 Astra, GPT-6 Luna e GPT-6.1 Sol — proprio sui linguaggi "a basse risorse", quelli per cui esiste pochissimo codice pubblico su cui addestrarsi. La tesi che regge il lavoro è che l'AI del codice non si misura più solo su Python, ma sulla capacità di non rompere ciò che già funziona.
Il punto di partenza è infrastrutturale. IBM stima che COBOL sostenga più del 40% dei sistemi di online banking e il 95% delle transazioni ATM; OpenAI indica inoltre l'80% delle transazioni con carta di credito in presenza. Fortran viene usato nelle previsioni meteo e nelle analisi di sicurezza dei reattori nucleari. Sono sistemi con documentazione incompleta, sviluppatori originali spesso usciti dall'azienda e regole di business che esistono solo dentro il codice.
MultiLangBench: ricostruire SQLite in 20 linguaggi
MultiLangBench chiede al modello di costruire da zero un motore di database compatibile con SQLite in uno dei 20 linguaggi previsti. Il test misura quanto software funzionante il modello produce in una sessione di coding prolungata: organizzare il codice, gestire lo stato, trattare gli errori e aggiungere funzionalità senza perdere quelle esistenti.
A massimo sforzo di ragionamento, GPT-6 Astra raggiunge un tasso medio di test superati dell'87,4%, contro il 26,8% di GPT-5.6 Sol: significa un risultato 3,26 volte più alto (87,4 diviso 26,8), con miglioramenti in ogni singolo linguaggio testato. Astra supera l'83% in 19 dei 20 linguaggi; l'unico sotto soglia è il COBOL, fermo al 72,1%.
| Linguaggio | GPT-5.6 Sol | GPT-6 Astra |
|---|---|---|
| COBOL | 10,9% | 72,1% |
| OCaml | 25,6% | 85,8% |
| Fortran | 21,4% | 83,5% |
| Visual Basic | 27,5% | 89,4% |
GPT-6 Luna: 40,3% a 0,77 dollari per campione
GPT-6 Luna è l'opzione a basso costo, e non è una versione depotenziata della precedente: arriva al 40,3% medio, migliorando GPT-5.6 Sol in tutti i 20 linguaggi, con COBOL al 17,1%, OCaml al 34,1%, Fortran al 31,4% e Visual Basic al 41,6%. Il costo medio stimato è di 0,77 dollari per campione contro i 3,48 dollari di GPT-5.6 Sol: rapportando le due cifre, Luna costa il 22,1% dell'altro modello, cioè circa il 78% in meno.
Migrare COBOL: 86,6% a basso sforzo, 97,9% alzando il ragionamento
La seconda valutazione chiede di migrare programmi COBOL verso C++, Java, Kotlin, Python o Rust, verificando con test nascosti la parità byte per byte sugli output osservabili. Una migrazione è considerata riuscita solo se passano tutti i test. GPT-6.1 Sol arriva all'86,6% di accuratezza già a basso sforzo di ragionamento, contro il 5,4% di GPT-5.6 Sol, costando il 39% in meno (il 61% del costo). Alzando il ragionamento si arriva al 97,9%, un guadagno di 11,3 punti percentuali che porta la valutazione quasi a saturazione.
La severità del test ha una ragione precisa. L'aritmetica a virgola fissa del COBOL scarta le cifre decimali in eccesso se non viene richiesto esplicitamente l'arrotondamento: una riscrittura che arrotonda gira senza errori ma produce risultati finanziari diversi. Una riscrittura di questo tipo non genera errori: il programma gira, ma produce risultati finanziari diversi.
Le due fonti non riportano lo stesso dato sul modello precedente
Sul baseline c'è una divergenza da segnalare. OpenAI indica 26,8% per GPT-5.6 Sol su MultiLangBench, mentre The Decoder cita GPT-5.6 Terra a circa 38% (e al 37,9% nel confronto con Luna). I nomi dei modelli sono diversi e la distanza è di oltre 11 punti percentuali: dalle fonti non è possibile stabilire se si tratti dello stesso modello o di due versioni distinte. Il dato cambia anche la lettura del risultato di Luna, che per OpenAI supera Sol, mentre per The Decoder "supera di poco" Terra.
Cosa cambia per chi mantiene un sistema legacy
La conseguenza operativa più netta riguarda la scelta del modello in base al linguaggio, non al budget. Su COBOL il divario tra GPT-6 Astra (72,1%) e GPT-6 Luna (17,1%) è di 4,2 volte (72,1 diviso 17,1): chi deve lavorare proprio su un linguaggio centrale nell'infrastruttura bancaria, che secondo OpenAI supporta oltre il 40% dei sistemi di online banking, non può accontentarsi del tier economico, che sugli altri linguaggi resta comunque conveniente.
Il secondo elemento utile è la pubblicazione su GitHub del setup di MultiLangBench e dei risultati per singolo linguaggio: un team può verificare la performance sul proprio linguaggio prima di fidarsi. OpenAI avverte però che una migrazione in produzione richiede comunque revisione esperta e test contro le regole di business e le dipendenze del sistema.
Il numero da tenere d'occhio non è l'87,4% medio: è il 72,1% del COBOL, l'unico linguaggio rimasto sotto la soglia dell'83%. Il caso più difficile è esattamente quello che regge il 95% delle transazioni agli sportelli.
Fonti
