Physical Address
304 North Cardinal St.
Dorchester Center, MA 02124
DeepSeek ha reso open source DeepInfer, il framework di inferenza con cui serve in produzione DeepSeek-V4.1-Flash, sotto licenza Apache 2.0 e con il primo commit pubblico datato 20 ottobre 2026. La mossa abbatte la barriera di costo per chi vuole far girare il modello su hardware proprio, ma non basta ad aprire un'API concorrente a quella dell'azienda. Quello che DeepSeek regala è il percorso di calcolo, non il servizio: la release copre solo l'inferenza offline e lascia fuori i pezzi che trasformano un motore in un prodotto.
Cosa contiene DeepInfer
DeepInfer è il software che sta tra il modello e chi lo interroga: decide come distribuire i pesi sugli acceleratori, come raggruppare le richieste di più utenti, come riusare i calcoli già fatti e quanto testo al secondo restituire. È nato soprattutto sopra vLLM, con idee prese da SGLang e TensorRT-LLM, e mette per la prima volta in un unico motore i kernel che DeepSeek aveva pubblicato uno per volta.
- Parallelismo: Attention DP più Wide-EP Attention; i layer MoE usano expert parallelism con un bilanciatore EPLB. Il decode gira da EP64 a EP128 dentro un supernodo, il prefill usa l'EP più piccolo consentito dalla memoria, di norma EP2–EP8.
- DSpark, la variante DeepSeek della decodifica speculativa: un modello di bozza propone 5 token per passo, una Confidence Head stima la probabilità di accettazione e il verificatore controlla solo il prefisso più utile. Si traduce in circa il 30% di token di bozza verificati in meno (da 5,00 a 3,2–4,4), con lunghezza accettata quasi invariata: 3,29 contro 3,20.
- SWA bounded replay: su cache hit ricalcola solo la coda della finestra di attenzione, rendendo costante il costo di ricomputazione. Nei layer decoder DeepSeek dichiara un calcolo totale di prefill quasi dimezzato.
- Scheduling asincrono (la CPU prepara il lotto mentre la GPU lavora), inferenza batch-invariant e campionamento deterministico, questi ultimi due attivi solo su NVIDIA, output strutturati con regex, JSON schema ed EBNF.
SWA bounded replay: 128 o 140 token, le fonti non coincidono
La tecnica che limita il replay del prefill è l'unico punto in cui le ricostruzioni divergono su una cifra. MarkTechPost scrive che su cache hit DeepInfer ricalcola solo gli ultimi 128 token dello stato di sliding-window attention; Pasquale Pillitteri indica 140 token come valore predefinito nelle impostazioni di V4.1, e la stessa cifra compare nella descrizione del benchmark di prefill. Le due versioni possono riflettere configurazioni diverse — default del modello contro setup di misura — ma nessuna delle due fonti lo chiarisce.
Quanto va veloce: i numeri auto-dichiarati
Le curve pubblicate riguardano V4.1-Flash con contesto a 131.072 token e sono misurate da DeepSeek stessa: prefill su 4 GPU SM100, decode su 64. Nessun terzo le ha ancora riprodotte, e per l'Ascend 950 non esiste alcun dato di performance.
| Fase | Configurazione | Risultato dichiarato |
|---|---|---|
| Prefill | 4 GPU SM100, 4.096 token per rank | ~60.000 token non in cache/s per GPU, 68 ms per passo |
| Prefill | 4 GPU SM100, 65.536 token | ~90.000 token/s per GPU, 730 ms per passo |
| Decode | 64 GPU, 8 richieste per rank | oltre 300 token/s per utente (325 la lettura dal grafico) |
| Decode | 64 GPU, 256 richieste per rank | oltre 25.000 token/s per GPU, ~100 token/s per utente |
Un solo cluster serve 155 bilioni di token al giorno; DeepSeek indica un ricavo complessivo di 38 dollari per ora-GPU applicando la tariffa valley. Il Wide-EP paga: EP64 resta davanti a EP8 a ogni dimensione di batch. DSpark aggiunge il 4–7% di throughput intorno a 60 sequenze per rank, ma a 16 sequenze per rank è l'1,5% più lento della verifica fissa a 5 token.
Cosa manca per aprire un'API come quella di DeepSeek
Mancano i tre pezzi che separano un motore da un servizio: un sistema di cache KV, la separazione tra prefill e decode su macchine diverse e il bilanciamento del carico tra repliche in parallelo. DeepSeek li dichiara strettamente accoppiati alla propria infrastruttura interna e non li include.
Il resto della release resta esigente: si compila su Linux con GCC 13 o successivo, Python 3.12 e CUDA 13 oppure CANN 9.2; l'unità produttiva minima efficiente è di 64 GPU in prefill più 64 in decode. Il kernel FlashMLA interno è più veloce del 5–10% rispetto a quello pubblico, ma il divario end-to-end scende al 5% o meno. La cartella eval porta gli script per AIME 2026, HLE e GPQA Diamond con metrica Pass@1: è l'uso per cui la release è pensata davvero. A completare il quadro c'è deepseek-recipe, licenza MIT, che replica l'elaborazione dei token dell'API ufficiale perché le installazioni self-hosted si comportino allo stesso modo.
Perché DeepSeek apre ora, e cosa c'entra Huawei
Ad aprile 2025 DeepSeek aveva escluso la pubblicazione del motore interno: nel suo indice open-infra parlava di un fork di vLLM vecchio di oltre un anno, troppo intrecciato con l'infrastruttura di cluster e impossibile da mantenere per un gruppo piccolo. La strada annunciata era estrarre librerie singole. DeepInfer è il passo successivo, e la sequenza si vede: il 30 settembre erano arrivati DeepGEMM-Ascend, con le stesse API della versione NVIDIA, e DeepEP-Ascend, la libreria di comunicazione tra chip; ora arriva il motore che li assembla.
Il repository è stato creato il 16 ottobre e il giorno del primo commit contava 4.074 stelle, 307 fork e 35 issue aperte. The Decoder legge la mossa anche come pressione sui prezzi dei provider occidentali, con un possibile movente politico nella gara sull'AI tra Cina e Stati Uniti: sono interpretazioni della testata, non fatti dichiarati da DeepSeek. L'azienda sul proprio account X ha scritto che l'obiettivo è "aiutare la community a ridurre i costi di calcolo, diminuire il consumo energetico e rendere l'AI più accessibile", e ha annunciato che il codice dei futuri modelli arriverà anch'esso open source.
L'analisi: tre numeri che il comunicato non calcola
I 155 trilioni di token al giorno divisi per 86.400 secondi fanno 1,79 miliardi di token al secondo serviti da un singolo cluster. Sul fronte latenza, passare da 8 a 256 richieste per rank moltiplica per 32 il carico e riduce la velocità per utente solo di circa 3,2 volte (da 325 a 103 token/s): è il profilo di chi vende throughput, non reattività da chat. Il picco di decode a 256 richieste per rank (circa 26.300 token/s per GPU, lettura da grafico di Pillitteri) moltiplicato per 3.600 secondi dà 94,68 milioni di token per ora-GPU. DeepSeek riporta un ricavo complessivo di 38 $ per ora-GPU a tariffa valley (MarkTechPost); la fonte non specifica quali token o fasi rientrino in questo dato, quindi non se ne ricava un costo per milione.
Da qui l'implicazione concreta: chi non dispone di 64 GPU in prefill e 64 in decode, o di silicio NVIDIA SM100, non può dedurre da queste curve il proprio costo per token. DeepInfer serve a valutare il modello e a spremerlo su cluster grandi, non a mettere in piedi un'alternativa all'API di DeepSeek: per quello servono ancora cache KV, disaggregazione e load balancer, cioè esattamente i pezzi rimasti nei server dell'azienda. Il test decisivo non sarà il contatore di stelle su GitHub, ma quante organizzazioni riusciranno a tenere V4.1-Flash in produzione con hardware di quella classe.
Fonti
