Physical Address
304 North Cardinal St.
Dorchester Center, MA 02124
Hugging Face ha pubblicato Carbon-X, modello open source da 14,8 miliardi di parametri che legge il DNA in chat e risponde in inglese. La notizia non è l'ennesimo annuncio di un laboratorio chiuso: i pesi escono con licenza Apache 2.0 e il modello arriva al 66,7% di media su cinque benchmark DNA, appena 0,8 punti sotto GPT-6.1 Sol. Il punto è il costo: la stima per valutare 2,4 milioni di varianti ClinVar di significato incerto è di 0 dollari, contro i 32.000-4.000.000 dei modelli di frontiera. La partita si sposta dal cloud al laboratorio.
Un solo decoder per DNA e linguaggio
Carbon-X parte da Qwen3-14B e rinuncia a un encoder separato per il DNA: basi azotate e testo finiscono nello stesso flusso di token, un unico decoder. Il pezzo chiave è il tokenizer ibrido, che al vocabolario BPE di Qwen3 aggiunge 4.096 six-mer non sovrapposti, 1.364 token di coda e 3 marcatori. MarkTechPost riporta 5.515 token DNA totali, ma le componenti sommano a 5.463: il totale va verificato sulla model card. Ogni token copre 6 coppie di basi e le sequenze di sei o più basi A/C/G/T vengono marcate automaticamente. La finestra di contesto arriva a 40.960 token, il backbone Qwen3 conta 40 layer con hidden size 5.120 e GQA a 8 KV head.
In pratica il modello dice se una mutazione è benigna o patogena, segnala regioni regolatorie, classifica organismi e predice le basi successive. Lewis Tunstall, senior research scientist di Hugging Face, la riassume così: «We've unlocked a new capability in language models, which is fundamentally about being able to chat with DNA».
Quattro fasi di training e il nodo del learning rate
L'addestramento si è mosso in quattro stadi: embedding warmup da circa 10 miliardi di token con transformer congelato; mid-training da 302 miliardi di token a 8.192 di lunghezza sequenza, con mix 55% DNA grezzo, 20% inglese, 15% testo di biologia e 10% istruzioni; SFT per 3 epoche su 20 sottoinsiemi di dataset con verificatori deterministici; infine RL con GRPO asincrono, ricompense verificabili e 2 round, via TRL e vLLM. WIRED arrotonda a 300 miliardi i token del training successivo: è la stessa fase di mid-training indicata nella model card (302 miliardi di token).
Il nodo, ammesso dagli stessi sviluppatori, è il learning rate: troppo alto e il modello impara il DNA ma dimentica l'inglese; più basso, con un 14B e una corsa lunga, l'equilibrio regge. La RL applicata direttamente a Qwen3-14B non ha mai superato il 50% di chance su FrontierVEP.
Dove vince e dove resta indietro
Tutti i punteggi sono auto-riportati da Hugging Face; Carbon-X girava con thinking disattivato, mentre GPT-6.1 Sol e Opus 5.5 giravano a sforzo massimo e Kimi K3 a sforzo basso.
| Benchmark | Carbon-X | GPT-6.1 Sol | Opus 5.5 | Kimi K3 |
|---|---|---|---|---|
| BioReason Coding | 74,9% | 71,0% | 70,3% | 53,9% |
| BioReason Non-SNV | 85,1% | 91,7% | 94,8% | 65,3% |
| GenomeQA | 63,6% | 67,2% | 62,2% | 52,0% |
| NextBase | 39,4% | 32,9% | 1,1% | 30,6% |
| FrontierVEP | 70,4% | 74,9% | 76,2% | 50,1% |
| Media | 66,7% | 67,5% | 60,9% | 50,4% |
Carbon-X sta 27 punti sopra Qwen3-14B di partenza e vince sulle varianti di coding e sulla predizione della base successiva. Resta dietro sui contesti complessi e sulle varianti non a singolo nucleotide (BioReason Non-SNV, 85,1% contro il 91,7% di GPT-6.1 Sol). I numeri vanno però letti con un'avvertenza: i rifiuti li deformano. Su NextBase, Opus 5.5 crolla dal 17,7% a effort basso all'1,1% a effort massimo man mano che aumentano i rifiuti; Gemini 4 Argon su FrontierVEP scende dal 58% al 38% con l'aumentare dello sforzo.
Locale, Apache 2.0 e i limiti da conoscere
La licenza Apache 2.0 serve a un obiettivo preciso: i laboratori possono tenere le sequenze sensibili sulle proprie GPU, senza inviare nulla a Hugging Face. Su questo punto le fonti divergono: WIRED scrive che il modello gira in locale su un laptop, mentre la scheda tecnica indica la GPU da 80 GB per la versione in bfloat16, coerente con i file quantizzati.
I limiti sono dichiarati apertamente:
- non è validato clinicamente né con esperimenti di laboratorio bagnato;
- resta debole sui siti di splicing (29,8% su GenomeQA) e sui marchi istonici (34,6%);
- può sbagliare conteggi di basi e confondere le coordinate su sequenze lunghe: per contare e modificare serve il codice;
- senza contesto può inventare l'identità di una sequenza, quindi vanno forniti gene, strand e annotazioni;
- la qualità degrada sulla generazione lunga e il modello non è stato addestrato a progettare nuove sequenze;
- non è stato addestrato sui virus, per non abilitare applicazioni potenzialmente pericolose;
- non si possono caricare genomi umani completi: le query coprono sequenze di circa 50.000 coppie di basi.
Cosa cambia davvero per un laboratorio
Il dato che ridimensiona l'entusiasmo è geometrico: 50.000 coppie di basi su un genoma umano da 6 miliardi di lettere significano lo 0,00083% del genoma per singola interrogazione (calcolo: 50.000/6.000.000.000). Carbon-X non è uno scanner del genoma, è un lettore puntuale — e infatti il suo uso naturale è valutare una variante già individuata prima di scegliere un bersaglio terapeutico. Su quel compito il vantaggio economico è brutale: 1/1.800 il costo di inferenza per problema rispetto a GPT-6.1 Sol, misurato su un H200 a 5 dollari l'ora.
C'è poi un segnale che riguarda l'ecosistema: quando Kimi K3 consulta Carbon-X come sub-agente, passa dal 49,4% al 60,5%, cioè +11,1 punti percentuali (60,5 − 49,4). Un modello piccolo e specializzato, usato come tool, rende più forte un modello generalista più grande.
Il collo di bottiglia non è più il costo di interrogare il DNA. È la validazione: finché manca il banco bagnato, Carbon-X resta uno strumento di priorizzazione, e il suo valore si misurerà su quante delle varianti che segnala reggeranno alla provetta.
Fonti
