DeepInfer is een open-source framework van DeepSeek-AI dat specifiek is ontwikkeld voor high-performance offline inference van DeepSeek-modellen, zoals de DeepSeek-V4.1-Flash. Het framework is gericht op grootschalige productieservices en bevat diverse geavanceerde optimalisaties:
- Performance & Kernels: Maakt gebruik van geoptimaliseerde kernels (o.a. FlashMLA en DeepGEMM) en asynchrone scheduling om de overlap tussen CPU-planning en device-executie te maximaliseren.
- Efficiëntie-functies: Implementeert DSpark voor versneld decoderen via draft-tokens en SWA bounded replay om het prefill-proces te optimaliseren.
- Consistentie & Controle: Biedt ondersteuning voor batch-invariant inference, deterministische sampling en gestructureerde outputs via regex of JSON-schema's.
- Hardware ondersteuning: Het framework is compatibel met NVIDIA SM100 GPU's en Huawei Ascend 950 NPU's, mits gedraaid op Linux met Python 3.12.
DeepInfer is gebaseerd op vLLM en beïnvloed door SGLang en TensorRT-LLM, en is beschikbaar onder de Apache License 2.0.
DeepInfer: High-performance, large-scale inference framework voor DeepSeek-modellen
Ondersteunde modellen
Ondersteunde functies
- Geoptimaliseerde kernels, model- en sampler-runtime.
- parallellisme: Attention DP / balanced CP, MoE EP + EPLB.
- DSpark en confidence-scheduled verification.
- SWA bounded replay.
- Asynchrone scheduling (zero-overhead batch scheduler).
- Batch-invariant inference.
- Deterministische sampling.
- Gestructureerde outputs.
Details van functies en configuratie
Geoptimaliseerde kernels
Gebruik van FlashMLA, DeepGEMM, DeepEP, TileKernels, DeepSelect en aangepaste TileLang-kernels.
DSpark en confidence-scheduled verification
Versnelt het decoderen met draft-tokens en gebruikt betrouwbaarheidsinschattingen (confidence estimates) om de verificatie te plannen.
- Configuratie: Stel
DEEPINFERENABLEMTP_VARLEN=1 in.
- Controle:
DEEPINFERUSENEXTN_DECODE bepaalt de maximale draft-lengte (standaard: 5).
Decoder SWA bounded replay
Vermindert het prefill-werk van de decoder door alleen een begrensde suffix te herhalen (replay).
- Configuratie: Stel
DEEPINFERYOCOPREFILLTRUNCATIONMODE=compact en DEEPINFERYOCOPREFILLKEEPTOKENS=140 in voor de standaard V4.1-instellingen.
- Let op: De behouden suffix moet de SWA-window plus de maximale backtracking-lengte dekken.
Asynchrone scheduling
Zorgt voor overlap tussen CPU-batch scheduling en device-executie. Deze functie is standaard ingeschakeld.
Batch-invariant inference
Zorgt ervoor dat modelresultaten identiek blijven bij verschillende batch-composities.
- Activatie: Gebruik
DEEPINFERBATCHINVARIANT=1 (alleen voor NVIDIA).
Deterministische sampling
Produceert identieke outputs voor identieke input-tokens en sampling-parameters.
- Activatie: Stel
DEEPINFERBATCHINVARIANT=1 en DEEPINFERENABLEMTPVARLEN=0 in, en geef een vaste seqseed mee aan SamplingParams (alleen voor NVIDIA).
Gestructureerde outputs
Beperkt de generatie tot een regex, JSON-schema of EBNF-grammatica.
- Activatie: Geef
soargs={"schematype": ..., "schema": ...} mee aan SamplingParams (zie voorbeelden).
Ondersteunde hardware
- NVIDIA SM100 GPU's
- Huawei Ascend 950 NPU's
Vereisten voor een volledige inferentieservice
De volgende componenten zijn vereist voor een volledige inferentieservice, maar zijn niet inbegrepen in deze release:
- Een KV-cache systeem.
- VE/Prefill/Decode disaggregatie (het meeste van de benodigde engine-functionaliteit is reeds geïmplementeerd).
- Load balancing over data-parallelle replica's voor zowel prefill als decode.
Aan de slag
Voorwaarden
- Linux
- GCC >= 13.0
- Python 3.12
- CUDA 13 (alleen voor NVIDIA)
- CANN 9.2 (alleen voor Ascend)
Builden vanuit broncode
Maak vóór het builden van DeepInfer een lege Python 3.12-omgeving aan en activeer deze.
# Gebruik `ascend` in plaats van nvidia voor het Ascend-platform
# Houd dit geëxporteerd in de omgeving waar u DeepInfer uitvoert
export DEEPINFER_ACCELERATOR=nvidia
./build.sh
Offline inference
Het standaard checkpoint, deepseek-ai/DeepSeek-V4.1-Flash-1017, wordt bij de eerste run gedownload in de Hugging Face-cache. Om vanuit een lokale kopie te werken, kunt u DEEPINFERHFMODEL_DIR=/pad/naar/DeepSeek-V4.1-Flash-1017 instellen.
python examples/offline_inference.py
Raadpleeg de voorbeelden voor meer details.
Benchmarks
Performance benchmarks
Metingen zijn uitgevoerd op 4 SM100 GPU's voor prefill en 64 voor decode — elk binnen één scale-up domein. Om de benchmarks te reproduceren, zie run_sweep.sh.
Evaluatie benchmarks
Zie eval/README.md.
Licentie
DeepInfer is uitgebracht onder de Apache License 2.0. Zie het bestand LICENSE voor details.
Erkenningen
DeepInfer is oorspronkelijk primair gebouwd op vLLM, met aanvullende inspiratie van SGLang en TensorRT-LLM. Wij danken hun ontwikkelaars.
Citatie
@misc{deepinfer2026,
title = {DeepInfer: High-performance, large-scale inference framework for DeepSeek models},
author = {DeepSeek-AI},
year = {2026},
publisher = {GitHub},
howpublished = {\url{https://github.com/deepseek-ai/DeepInfer}},
}
DeepInfer: High-performance, large-scale inference framework voor DeepSeek-modellen
Ondersteunde modellen
Ondersteunde functies
- Geoptimaliseerde kernels, model- en sampler-runtime.
- parallellisme: Attention DP / balanced CP, MoE EP + EPLB.
- DSpark en confidence-scheduled verification.
- SWA bounded replay.
- Asynchrone scheduling (zero-overhead batch scheduler).
- Batch-invariant inference.
- Deterministische sampling.
- Gestructureerde outputs.
Details van functies en configuratie
Geoptimaliseerde kernels
Gebruik van FlashMLA, DeepGEMM, DeepEP, TileKernels, DeepSelect en aangepaste TileLang-kernels.
DSpark en confidence-scheduled verification
Versnelt het decoderen met draft-tokens en gebruikt betrouwbaarheidsinschattingen (confidence estimates) om de verificatie te plannen.
- Configuratie: Stel
DEEPINFERENABLEMTP_VARLEN=1 in.
- Controle:
DEEPINFERUSENEXTN_DECODE bepaalt de maximale draft-lengte (standaard: 5).
Decoder SWA bounded replay
Vermindert het prefill-werk van de decoder door alleen een begrensde suffix te herhalen (replay).
- Configuratie: Stel
DEEPINFERYOCOPREFILLTRUNCATIONMODE=compact en DEEPINFERYOCOPREFILLKEEPTOKENS=140 in voor de standaard V4.1-instellingen.
- Let op: De behouden suffix moet de SWA-window plus de maximale backtracking-lengte dekken.
Asynchrone scheduling
Zorgt voor overlap tussen CPU-batch scheduling en device-executie. Deze functie is standaard ingeschakeld.
Batch-invariant inference
Zorgt ervoor dat modelresultaten identiek blijven bij verschillende batch-composities.
- Activatie: Gebruik
DEEPINFERBATCHINVARIANT=1 (alleen voor NVIDIA).
Deterministische sampling
Produceert identieke outputs voor identieke input-tokens en sampling-parameters.
- Activatie: Stel
DEEPINFERBATCHINVARIANT=1 en DEEPINFERENABLEMTPVARLEN=0 in, en geef een vaste seqseed mee aan SamplingParams (alleen voor NVIDIA).
Gestructureerde outputs
Beperkt de generatie tot een regex, JSON-schema of EBNF-grammatica.
- Activatie: Geef
soargs={"schematype": ..., "schema": ...} mee aan SamplingParams (zie voorbeelden).
Ondersteunde hardware
- NVIDIA SM100 GPU's
- Huawei Ascend 950 NPU's
Vereisten voor een volledige inferentieservice
De volgende componenten zijn vereist voor een volledige inferentieservice, maar zijn niet inbegrepen in deze release:
- Een KV-cache systeem.
- VE/Prefill/Decode disaggregatie (het meeste van de benodigde engine-functionaliteit is reeds geïmplementeerd).
- Load balancing over data-parallelle replica's voor zowel prefill als decode.
Aan de slag
Voorwaarden
- Linux
- GCC >= 13.0
- Python 3.12
- CUDA 13 (alleen voor NVIDIA)
- CANN 9.2 (alleen voor Ascend)
Builden vanuit broncode
Maak vóór het builden van DeepInfer een lege Python 3.12-omgeving aan en activeer deze.
# Gebruik `ascend` in plaats van nvidia voor het Ascend-platform
# Houd dit geëxporteerd in de omgeving waar u DeepInfer uitvoert
export DEEPINFER_ACCELERATOR=nvidia
./build.sh
Offline inference
Het standaard checkpoint, deepseek-ai/DeepSeek-V4.1-Flash-1017, wordt bij de eerste run gedownload in de Hugging Face-cache. Om vanuit een lokale kopie te werken, kunt u DEEPINFERHFMODEL_DIR=/pad/naar/DeepSeek-V4.1-Flash-1017 instellen.
python examples/offline_inference.py
Raadpleeg de voorbeelden voor meer details.
Benchmarks
Performance benchmarks
Metingen zijn uitgevoerd op 4 SM100 GPU's voor prefill en 64 voor decode — elk binnen één scale-up domein. Om de benchmarks te reproduceren, zie run_sweep.sh.
Evaluatie benchmarks
Zie eval/README.md.
Licentie
DeepInfer is uitgebracht onder de Apache License 2.0. Zie het bestand LICENSE voor details.
Erkenningen
DeepInfer is oorspronkelijk primair gebouwd op vLLM, met aanvullende inspiratie van SGLang en TensorRT-LLM. Wij danken hun ontwikkelaars.
Citatie
@misc{deepinfer2026,
title = {DeepInfer: High-performance, large-scale inference framework for DeepSeek models},
author = {DeepSeek-AI},
year = {2026},
publisher = {GitHub},
howpublished = {\url{https://github.com/deepseek-ai/DeepInfer}},
}
Groetjes,