DeepInferとは？DeepSeekの推論基盤とコスト構造を解説

結論：巨大なDeepSeek推論基盤の設計を学べるが、そのまま本番サーバーにはならない

DeepInferは新しいAIモデルやAPIではなく、DeepSeek-V4.1-FlashをGPU・NPU上で効率よく動かす推論フレームワークです。モデル計算、通信、並列化、スケジューリングをまとめ、DeepSeek自身の大規模サービスで使う技術を公開しました。ソフトウェアはApache 2.0ですが、モデル重み、GPU、ストレージ、ネットワーク、運用人員の費用は別です。

注目点は、NVIDIA SM100とHuawei Ascend 950の両方を対象にし、MoEのWide-EP、DSpark投機的デコード、SWA bounded replay、非同期スケジューリングを一つの実装へ統合したことです。GitHubでは公開約2日で1.7万star、Hacker Newsでは2,300点・880コメント超に達し、推論コストの実態とオープンな実装に急速な関心が集まりました。

一方で、公開リポジトリが対応するモデルはDeepSeek-V4.1-Flashだけです。公開版はオフライン推論で、オンラインサービスに必要なKV cacheシステム、Vision Encoder／Prefill／Decodeの分離基盤、レプリカ間ロードバランサーは同梱されません。既存のvLLMやSGLangを直ちに置き換える一般用途製品ではなく、大規模なDeepSeek専用環境を検討する組織向けです。

この節の一次情報：DeepSeek公式｜DeepInfer README ／ DeepSeek公式｜Inference Deployment Q&A

DeepInferとは：DeepSeekのモデルを低遅延・高スループットで動かす実行基盤

LLMの品質はモデルが決めますが、同じモデルでも1秒に何件処理できるか、最初の回答まで何秒待つか、何台のGPUが必要かは推論基盤で変わります。DeepInferはカーネル、GPU間通信、バッチ処理、投機的デコード、出力制約を統合し、大量トラフィックを効率よく処理する層です。

DeepInferは主にvLLMを基に構築され、SGLangとTensorRT-LLMも参考にしたと公式READMEに記載されています。FlashMLA、DeepGEMM、DeepEP、TileKernels、DeepSelectなど、DeepSeekが公開してきた高速カーネルを組み合わせます。開発元は今後のDeepSeekモデル向け推論コードと性能改善も同じリポジトリで公開するとしています。

同時公開されたdeepseek-recipeは別の役割です。Chat Completions、Responses、Messagesの各API形式を共通会話形式とモデルtokensへ変換し、出力をテキスト・reasoning・tool callのストリームへ戻します。Rust実装とPython bindingにより、長文のtokenizationや分割されたtool引数の解析も高速化します。

この節の一次情報：DeepSeek公式｜DeepInfer ／ DeepSeek公式｜deepseek-recipe

仕組み：PrefillとDecodeを分け、MoEをWide-EPで並列化する

推論は大きくPrefillとDecodeに分かれます。Prefillは入力文をまとめて処理し、後続生成で再利用するKV cacheを作ります。Decodeはその状態から回答tokensを繰り返し生成します。DeepSeekの本番構成はVision Encoder、Prefill、Decodeを分離し、段階ごとのGPU数を別々に調整します。

MoE部分ではExpert Parallelism（EP）を使います。Prefillはメモリへ収まる最小のEP2〜8、Decodeは64〜128 GPUのWide-EPを推奨しています。Decodeで専門家を広く分散すると、各GPUが読む重みを減らし、十分なバッチとロードバランスがあるとスループットを上げられます。attentionはEP数と同じData Parallelismで処理します。

公式Q&Aは、効率的な最小構成としてPrefill 64 GPU＋Decode 64 GPUを挙げています。1P＋1D自体は動かせても、推奨するDecodeがEP64以上であるためです。これは個人PCや数枚のGPUで試す『ローカルLLM』とは別の規模で、データセンター級の調達・運用を前提にした設計です。

この節の一次情報：DeepSeek公式｜Inference system overview

料金とコスト：Apache 2.0でも、GPU・SSD・通信・運用費は残る

DeepInferのコード利用料はApache 2.0のため無料です。しかしセルフホスト原価は、GPU時間、100Gbps級の通信、KV cache用SSD、冗長構成、監視、保守、電力、施設、エンジニア工数の合計です。公式構成では8 GPU当たり約400Gbpsの接続帯域を見込み、KV cacheストレージは論理容量でGPU 1基当たり約14.4TBと説明されています。

DeepSeekは本番クラスタが1日155兆tokensを処理し、オフピーク価格でGPU時間当たり38ドルの売上を生むと公表しました。1 GPU・1日換算なら売上912ドルですが、クラスタのGPU総数、トークンの入力／出力内訳、実稼働率、ハードウェア取得費、電力、保守、減価償却は示されていません。38ドルを利益、粗利、あるいは他社が再現できる単価として扱うことはできません。

API利用とセルフホストを比べるときは、月間tokensだけでなくピーク同時実行、TTFTとTBTのSLA、cache hit率、冗長化、モデル更新頻度を入れます。DeepInferの高速化率をAPI請求の削減率へ直結させず、品質を満たした1タスク当たり総原価で比較してください。

この節の一次情報：DeepSeek公式｜Cluster & storage

速度：4 GPUのPrefillと64 GPUのDecodeで測った開発元ベンチマーク

公式READMEの性能グラフはDeepSeek-V4.1-Flash、context 131,072 tokensで、PrefillはNVIDIA SM100を4基、Decodeは64基使って測定されています。MarkTechPostによるグラフ読取では、Decodeは256 requests/rankでGPU当たり25,000 output tokens/秒超、利用者当たり約100 tokens/秒です。8 requests/rankでは利用者当たり300 tokens/秒を超えます。

Prefillは4,096 tokens/rankでGPU当たり約60,000 non-cached tokens/秒、65,536 tokensでは約90,000 tokens/秒に近づくと報じられています。どちらもDeepSeekが用意したオフラインbenchmarkと特定ハードウェアの値で、オンラインAPIのTTFT、p95・p99、同時接続、障害時の再試行を保証しません。

リポジトリは再現用scriptを公開していますが、SM100を4〜64基用意できる環境は限られます。導入候補では自社の入力長分布、出力長、tool call、構造化出力を使い、throughput、1ユーザー速度、TTFT、TBT、GPU利用率を同時に測ります。

この節の一次情報：DeepSeek公式｜Performance benchmarks ／ MarkTechPost｜DeepInfer performance overview

DSpark：必要なdraft tokenだけを検証する投機的デコード

投機的デコードは、小さなdraft処理が先のtokensを予測し、本体モデルがまとめて検証する方式です。固定で長い候補を毎回検証すると、採用されにくい後半tokensへも計算を使います。DeepInferのDSparkはConfidence Headで各draft tokenの採用確率を見積もり、効果の高いprefixだけを検証します。

本番設定では一度に5 tokensを提案します。公式Q&Aでは、可変長検証により1step当たりの検証量を5.00から3.2〜4.4へ約30%減らしながら、平均採用長は固定長3.29、可変長3.20でほぼ維持したとしています。約60 concurrent sequences/rankの本番点ではthroughputが5.4%向上し、72では6.7%、96では11.0%でした。

すべての負荷で速くなるわけではありません。16 sequences/rankでは固定5 tokensより1.5%遅い結果です。DSparkの効果は並列数、acceptance、draft品質、GPUのthroughput曲線に依存するため、公式最大値だけで容量計画を作らないようにします。

この節の一次情報：DeepSeek公式｜Speculative decoding

KV cacheとSWA bounded replay：長い会話を再計算しない設計

DeepSeek本番は約100PiBのSSDストレージをKV cacheに使い、agent trafficを3日、chatbot trafficを7日保持すると説明しています。会話履歴や共通prefixが再利用されると、Prefillの計算を減らせます。長いchatbot履歴は少数のcacheが何度も読まれるため、保持を3日に短縮するとhit率が0.5〜1ポイント下がるという経験値も示されました。

V4.1-FlashのSWA状態が見つからない場合、DeepInferは直近128 tokensだけを再計算するSWA bounded replayを使います。再計算量をcontext全長から切り離し、Decoder側では2,560 tokens×20 layersの完全再構築を避けることで、Prefill総計算をほぼ半減すると開発元は説明しています。

ただし、この100PiB級ストレージ、3FS、cache GC、cross-machine transferは公開リポジトリに完成品として含まれません。DeepInferをインストールしただけで96%などの高いcache hit率や長期保持が得られるわけではなく、自社でcache基盤と個人情報・保持期間の方針を設計する必要があります。

• prefixを安定させ、同一会話・共通system promptのhit率を測る
• cache保存量、SSD読書き、network transferをGPU費と一緒に集計する
• 会話履歴の保存期間と削除要件をセキュリティ・法務と確認する
• cache miss時のTTFTと再計算量をp95・p99で監視する

この節の一次情報：DeepSeek公式｜KV cache storage

vLLM・SGLang・TensorRT-LLMとの違い

vLLM、SGLang、TensorRT-LLMは多くのモデルとハードウェアを対象にする汎用推論基盤です。DeepInferはDeepSeek-V4.1-Flashと巨大MoEクラスタへ深く最適化し、DeepSeek自身が本番で使うDSpark、SWA replay、Wide-EPをまとめて公開した点に価値があります。

移行判断は『どちらが速いか』だけでは決まりません。vLLMやSGLangにはOpenAI互換server、model coverage、community運用、P/D分離の既存機能があります。DeepInfer公開版はoffline inferenceで、対応hardwareとmodelが狭く、完全なservice layerは利用者が補う必要があります。

DeepSeek-V4.1-Flashを128 GPU以上で高密度運用し、内部実装を調整できるチームなら検証価値があります。複数モデルを小〜中規模で扱う、既存のKubernetes運用を維持したい、迅速なmodel切替を重視する場合は、汎用frameworkを残してDeepInferのkernel・schedule設計だけを参考にする方が現実的です。

この節の一次情報：vLLM公式 ／ SGLang公式 ／ NVIDIA TensorRT-LLM

海外で急速に注目された理由と利用の現実

Hacker Newsでは公式GitHub投稿が2026年10月22日確認時点で2,300点・881コメントに達しました。GitHubは17.7k stars・1.8k forksです。議論の中心は、推論が本当に赤字なのか、GPU時間当たり38ドルをどう読むか、vLLMとの差、128 GPU級の最小効率構成を誰が使えるかでした。

公開直後の海外解説は、DeepInferがDeepSeekのproduction engineである点を評価する一方、cluster sizeと測定期間が非公開であること、売上は利益ではないこと、online servingの重要部分が欠けることを指摘しています。開発者コミュニティでは実装を学ぶ価値と、一般企業がそのまま導入できる製品ではない点が同時に認識されています。

具体的な第三者production事例、他frameworkとの同一hardware比較、障害時のSLA、長期間の保守実績はまだありません。海外の注目度は記事化の理由になりますが、採用実績や独立benchmarkの代わりにはなりません。

この節の一次情報：Hacker News｜DeepInfer ／ GitHub｜deepseek-ai/DeepInfer ／ MarkTechPost｜公開範囲と性能の整理

導入に向くケース・向かないケース

向くのは、DeepSeek-V4.1-Flashを大規模に継続運用し、SM100またはAscend 950のcluster、400Gbps級network、分散storageをすでに扱える組織です。大量chat、coding agent、長い会話など、prefix cacheと高並列Decodeを繰り返し活用できるworkloadほど検証余地があります。

向かないのは、数枚のGPU、複数modelの頻繁な切替、managed APIだけで十分な利用量、SRE・kernel・distributed systemsの専任teamがない環境です。コードのlicense費が0円でも、128 GPU級の基盤を低稼働で持つとAPIより高くなる可能性があります。

検証は既存APIまたは現行frameworkを基準に、同じ品質評価セットで行います。入力長bucket、同時実行、cache hit/miss、structured output、tool callを分け、GPU時間、storage I/O、network、failure、運用工数を計測します。本番移行前にmodel更新、security fix、障害時のfallbackも決めます。

注意点・未検証事項

155兆tokens／日、US$38／GPU時間、cache保持・hit率、throughputはDeepSeekの企業公表値です。clusterのGPU総数、測定期間、traffic構成、総原価、profit、障害率は公開されていません。第三者が同一条件で再現した結果ではありません。

公開repositoryは2026年10月22日時点でcommit数が少なく、対応modelは1つです。KV cache store、P/D disaggregationのservice layer、load balancerは内部基盤へ密結合しているため非公開です。内部FlashMLAには公開版より5〜10%速いhand-tuned optimizationがあり、end-to-end差は最大5%程度と開発元は説明しています。

料金・仕様・star数・Hacker News反応は2026年10月22日に確認しました。今後model追加、hardware support、online serving、security patchが変わる可能性があります。production採用時は特定commitへpinし、license、dependency、脆弱性、model weightsの条件を改めて確認してください。

FAQ

Q. DeepInferは無料ですか？　A. コードはApache 2.0で利用できます。GPU、NPU、SSD、network、電力、運用、model weightsの費用や条件は別です。

Q. DeepInferを入れるとDeepSeek APIと同じものを作れますか？　A. いいえ。公開版はoffline inferenceが中心で、DeepSeek本番のKV cache system、P/D分離、load balancerは含まれません。deepseek-recipeでAPI protocolの変換はできます。

Q. 155兆tokens／日は1台のserverですか？　A. 1 cluster当たりの企業公表値です。clusterのGPU台数やtraffic内訳は非公開で、一般的な1 machineの性能ではありません。

Q. US$38／GPU時間は利益ですか？　A. いいえ。DeepSeekはrevenue（売上）と表現しています。hardware、電力、storage、network、人件費、model開発費を引いたprofitは公開していません。

Q. vLLMより速いですか？　A. DeepSeek-V4.1-Flashと特定hardwareへ深く最適化されていますが、同一条件の独立比較は不足しています。vLLMは対応model・hardware・online servingが広く、用途が異なります。

Q. 小規模teamでも使えますか？　A. buildはできますが、公式が効率的な最小単位として示すのはPrefill 64＋Decode 64 GPUです。managed APIや汎用frameworkの方が総原価と運用riskを抑えやすい場合があります。