On this page34 sections
摘要
DeepSeek-V4.1-Flash 采用 552B 参数的 MoE 主干,预填充阶段活跃 8B、解码阶段活跃 16B;活跃参数只反映单次计算参与量,并不等于常驻显存。检查点约占 511 GB 磁盘空间,当前 vLLM 配方给出的最低可用显存预算约为 614 GB,因此 8×H200 级服务器比消费级工作站更现实。仅需模型访问、不要求权重控制的团队,使用托管 API 的运维负担明显更低。
关键要点
- 552B MoE 主干,prefill 活跃 8B、decode 活跃 16B;不能把活跃参数直接换算成显存需求。
- 上下文窗口为 1,048,576 tokens,全局 KV 缓存约 890 bytes/token,可降低长上下文缓存压力,但权重仍主导容量规划。
- 检查点约 511 GB;vLLM 估算约 614 GB 可用显存,作为加载模型与运行时开销的基线,并非所有批量、上下文或多模态配置的保证值。
- vLLM 是较清晰的生产 serving 路径;Ollama 当前入口为
:cloud,不等同于完整本地权重推理。 - 自托管更适合隐私、隔离网络、权重级研究或持续高利用率集群;多数开发者使用托管端点更简单。
-V4.1-Flash 是什么?架构、参数与模型规模
DeepSeek-V4.1-Flash 于 2026 年 9 月 10 日发布,是该新架构系列中参数规模最小的成员,并原生支持视觉理解。名称中的 “Flash” 并不代表它是小型稠密模型:其主干仍为 552B 参数的混合专家(MoE)结构。
核心架构变化是因果编码器-解码器(CED)设计。模型在提示摄入与 token 生成两个阶段非对称地分配算力,在压低活跃计算量的同时保留规模很大的专家池。
| 规格 | DeepSeek-V4.1-Flash |
|---|---|
| 架构 | 多模态 MoE,因果编码器-解码器 |
| 主干参数 | 552B |
| 输入阶段活跃参数 | 8B |
| 输出阶段活跃参数 | 16B |
| Transformer 层数 | 40 层:20 层编码器 + 20 层解码器 |
| 上下文窗口 | 1,048,576 tokens |
| 全局 KV 缓存 | 890 bytes/token |
| 模态 | 文本 + 图像输入,文本输出 |
| 权重许可 | MIT |
| 推荐采样 | Temperature 1.0;top_p 0.95 或 1.0 |
| 权重获取 | Hugging Face 官方仓库 |
| 主要本地服务方案 | vLLM、SGLang、参考推理实现 |
区分活跃参数与常驻参数是容量规划的前提。MoE 路由减少的是单个 token 参与计算的那部分网络,但服务端仍须让所有可能被选中的专家权重保持可访问。这正是 “8B 活跃” 的模型仍可能占用数百 GB 存储与加速器显存的原因。
KV 缓存方面,全局缓存在 V4 Flash 上为 3,514 bytes/token,到 V4.1-Flash 降至 890 bytes/token,约为前者 3.9 分之一的水平。这对百万 token 级推理有实际意义,但并不会消除模型权重本身带来的、量级更大的内存需求。
部署前 -V4.1-Flash 表现如何?
随模型发布的基准表主要覆盖智能体编程、终端操作、自动化与软件工程任务。这些是厂商自测结果,只能作为参考测量,不代表具体应用中的稳定表现。复现时,模型卡建议 temperature 1.0、top_p 0.95;推理强度与 token 预算会随评测设置变化。
| 基准 | DeepSeek V4.1 Flash | DeepSeek V4 Pro 0813 | DeepSeek V4 Flash 0731 |
|---|---|---|---|
| GPQA Diamond | 90.9 | 92.4 | 89.9 |
| Codeforces Rating | 3471 | 3348 | 3289 |
| MathArena Apex | 65.6 | 65.3 | 58.6 |
| Terminal-Bench 2.1 | 90.6 | 87.9 | 82.7 |
| Terminal-Bench 3.0 | 30.0 | 11.8 | 7.6 |
| Terminal-Bench 4.0 | 31.2 | 12.4 | 7.0 |
| DeepSWE v1.1 | 74.2 | 62.7 | 54.4 |
| NL2Repo-Bench | 65.4 | 61.5 | 54.2 |
| CyberGym | 88.1 | 83.3 | 76.7 |
| Automation-Bench | 54.8 | 43.2 | 37.7 |
| Agents' Last Exam | 31.8 | 25.7 | 25.2 |
比单项分数更值得关注的是变化幅度:相较 V4 Flash 0731,V4.1-Flash 在 Terminal-Bench、DeepSWE、自动化与网络安全类任务上的提升尤其明显。这使本地部署对私有编码代理、仓库级分析、内部自动化和隔离环境更具现实意义。
真的能在本地运行 -V4.1-Flash 吗?
可以,但“本地”不等于“单机桌面”。官方检查点约 476 GiB,即约 511 GB;计入运行时开销后,vLLM 给出的最低可用显存预算约为 614 GB。该数字是基线估算,实际需求会随批大小、上下文长度与多模态配置变化。
检查点内部已高度压缩:路由与 DSpark 专家约 259.5 GiB,Engram 表约 183.1 GiB,注意力、稠密投影与路由约 6.9 GiB,嵌入、LM head 与归一化约 3.9 GiB,UE8M0 块缩放约 21.9 GiB。权重并非等待简单 4-bit 转换的大型 BF16 模型。
-V4.1-Flash 硬件要求
| 硬件配置 | 实际状态 | 说明 |
|---|---|---|
| 1× RTX 4090 / 5090 | 不可行 | 远低于模型内存占用 |
| 2–4 块消费级 GPU | 完整检查点不可行 | 聚合显存仍不足 |
| 128 GB 工作站 | 不可行 | 活跃参数不决定常驻权重内存 |
| 256 GB 工作站 | 官方服务路径不可行 | 仍明显低于检查点体积 |
| 512 GB 系统内存 + GPU 卸载 | 实验性 | 不属于经验证的生产服务 |
| 4× 高显存数据中心 GPU | 视硬件而定 | 需核对运行时配方 |
| 8× H200 | 可行,有文档记录 | 约 1,128 GB 聚合 HBM |
| GB200 NVL4 级系统 | 可行 | 768 GB 托盘可容纳 |
8B 活跃参数不意味着 8 GB 显存。“活跃”描述的是单个 token 计算中参与路由的参数规模,完整专家集合仍须存放在推理引擎可访问的存储或显存中。
-V4.1-Flash 应使用哪个运行时?
| 运行时 | 当前对 V4.1-Flash 的支持状态 | 适合的用途 |
|---|---|---|
| vLLM | 已提供当前的部署配方,需要较新的镜像 | 生产级、OpenAI 兼容的推理服务 |
| SGLang | 通过当前 DeepSeek-V4.1 部署构建提供支持 | 高性能分布式推理 |
| 官方参考推理实现 | 官方 TP8 参考实现 | 架构研究与结果验证 |
| Transformers | 模型集成已在 Hugging Face 上公开 | 开发与实验,仍需相应硬件 |
| Ollama | 官方模型库当前走 :cloud 路径 |
便捷调用云端模型,不等同于自托管 |
面向生产环境的自托管,vLLM 是目前最清晰的起点;SGLang 则为更复杂的分布式推理提供了另一条受支持的路径。两者都面向高性能服务,取舍点在于团队已有的运维经验与部署拓扑。
如何使用 vLLM 在本地运行 -V4.1-Flash
以下流程面向多 GPU 的 Linux 服务器。命令以代码块形式给出,并配以简短说明。
第 1 步:检查环境
在拉取镜像之前,先确认服务器满足以下条件:
- Linux 操作系统。
- 已安装 Docker。
- 已安装 NVIDIA Container Toolkit。
- 数百 GB 的空闲 SSD 空间,用于存放约 511 GB 的检查点及临时文件。
- 一套受支持的多 GPU 配置。
- 约 614 GB 的聚合可用加速器显存,这是当前官方权重服务配置的规划基线。
- 若模型尚未缓存在本地,还需要足够快的网络来下载权重。
第 2 步:下载 -V4.1-Flash 权重
官方权重位于 deepseek-ai/DeepSeek-V4.1-Flash 的 Hugging Face 仓库,采用 MIT 许可。先更新下载工具,再拉取完整检查点:
python -m pip install -U huggingface_hub
hf download deepseek-ai/DeepSeek-V4.1-Flash
检查点约占 511 GB。存放 ~/.cache/huggingface 的文件系统应预留明显高于该数值的可用空间,因为临时文件和推理引擎产物会推高峰值磁盘占用。
第 3 步:使用 vLLM 启动 -V4.1-Flash
当前 vLLM 配方要求使用足够新的镜像。以下是一条面向文本任务、八卡起步的配置:
docker run --rm \
--gpus all \
--ipc=host \
-p 8000:8000 \
-v ~/.cache/huggingface:/root/.cache/huggingface \
-e VLLM_ENGINE_READY_TIMEOUT_S=3600 \
vllm/vllm-openai:nightly \
deepseek-ai/DeepSeek-V4.1-Flash \
--host 0.0.0.0 \
--port 8000 \
--tensor-parallel-size 8 \
--language-model-only \
--tokenizer-mode deepseek_v41 \
--tool-call-parser deepseek_v41 \
--reasoning-parser deepseek_v41 \
--enable-auto-tool-choice \
--gpu-memory-utilization 0.90 \
--max-model-len 131072
这里有两个有意为之的选择。--language-model-only 会关闭视觉编码器,适合纯文本负载;上下文长度从 131,072 个 token 起步,比直接启用完整的一百万 token 上下文更稳妥。服务稳定后可调整为:
--max-model-len 1048576
--tensor-parallel-size 8 不应直接照搬到所有服务器,具体取值取决于加速器拓扑与显存分布。
第 4 步:测试本地 -V4.1-Flash 端点
服务启动后,向本地 OpenAI 兼容端点发送一条最小请求:
curl http://localhost:8000/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"model": "deepseek-ai/DeepSeek-V4.1-Flash",
"messages": [
{
"role": "user",
"content": "What is 17 * 19? Return only the integer."
}
]
}'
若返回 323,说明请求已到达模型并完成生成。此时可继续验证更长的提示、工具调用与思考模式。
第 5 步:使用 Python 调用本地 -V4.1-Flash 服务器
本地端点遵循 OpenAI 兼容协议,因此只需把 base_url 指向本机端口,api_key 填入任意占位值即可:
from openai import OpenAI
client = OpenAI(
base_url="http://localhost:8000/v1",
api_key="local"
)
response = client.chat.completions.create(
model="deepseek-ai/DeepSeek-V4.1-Flash",
messages=[
{
"role": "user",
"content": "Explain the difference between TCP and UDP in three bullets."
}
],
temperature=1.0,
top_p=0.95
)
print(response.choices[0].message.content)
temperature 1.0 与 top_p 0.95 取自官方模型卡推荐的采样设置,可作为复现基线。
如何在本地启用 -V4.1-Flash 思考模式?
思考模式通过聊天模板参数显式开启,无需改动服务端启动命令:
from openai import OpenAI
client = OpenAI(
base_url="http://localhost:8000/v1",
api_key="local"
)
response = client.chat.completions.create(
model="deepseek-ai/DeepSeek-V4.1-Flash",
messages=[
{
"role": "user",
"content": "Find the most efficient algorithm for this scheduling problem."
}
],
extra_body={
"chat_template_kwargs": {
"thinking": True,
"reasoning_effort": 50
}
}
)
print(response.choices[0].message.content)
如果最终内容很少甚至为空,先检查 max_tokens 是否被思考过程消耗殆尽,再判断部署本身是否异常。复杂推理任务可保留思考模式并放宽 token 预算,简单请求则可直接关闭。
如何使用参考代码运行 -V4.1-Flash?
模型仓库同时提供一个最小的 TP8 推理实现。它的定位是可读的参考代码,用于理解实现细节,而不是面向高吞吐的生产服务。
cd inference
python -m pip install -r requirements.txt
转换权重并指定专家精度:
export HF_CKPT_PATH=/path/to/DeepSeek-V4.1-Flash-HF
export SAVE_PATH=/path/to/DeepSeek-V4.1-Flash-TP8
export MP=8
python convert.py \
--hf-ckpt-path "${HF_CKPT_PATH}" \
--save-path "${SAVE_PATH}" \
--model-parallel "${MP}" \
--expert-dtype fp4 \
--tokenizer-path "${HF_CKPT_PATH}"
随后以交互方式启动生成:
export CKPT_PATH=/path/to/DeepSeek-V4.1-Flash-TP8
export MP=8
torchrun --nproc-per-node "${MP}" generate.py \
--ckpt-path "${CKPT_PATH}" \
--config config.json \
--interactive \
--temperature 0.6
这条路径适合检查因果编码器-解码器结构、MoE 路由、Engram 记忆与投机解码等实现。常规生产服务仍以 vLLM 或 SGLang 更易运维。
能否使用 Ollama 在本地运行 -V4.1-Flash?
不能按常规 7B 或 32B 模型的方式理解。Ollama 当前对应条目使用 :cloud 路由,推理并不完全发生在本地机器上;这一入口不等同于下载完整权重并在本机执行推理。若目标是权重完全驻留本机、断网运行或修改权重,该路线不满足要求,应转向支持完整检查点的多 GPU 服务路径。
-V4.1-Flash 本地部署与 API:哪种更合适?
| 维度 | 本地部署 | 托管 API |
|---|---|---|
| 前期硬件 | 很高 | 无 |
| 加速显存 | 约 614 GB 的官方实用目标 | 由服务提供方管理 |
| 模型控制 | 完整 | 有限 |
| 数据留在本地 | 是 | 否 |
| 权重修改 | 可以 | 不可以 |
| 维护责任 | 自行承担 | 服务提供方管理 |
| 部署复杂度 | 高 | 低 |
| 扩展方式 | 需要自建基础设施 | 基于 API |
| 适用场景 | 断网、私有、研究、高利用率集群 | 多数开发者与生产应用 |
当隐私、断网运行、权重级实验、可预测的重度使用或监管要求的重要性超过基础设施成本时,本地部署更有吸引力。普通应用开发采用托管端点,可以避开数百 GB 的模型管理与多 GPU 编排。
在本地运行 -V4.1-Flash 时可能遇到哪些问题?
| 问题 | 原因与处理 |
|---|---|
| 生成开始前显存不足 | 决定显存占用的主要是完整检查点,而非 8B/16B 活跃参数。检查张量并行、GPU 显存利用率、视觉模块加载和可用 HBM。 |
| 启动耗时较长 | 半 TB 级检查点需要下载、映射、初始化与分片,引擎就绪超时设得较长属于正常现象。 |
响应为空或以 finish_reason=length 结束 |
思考模式可能耗尽生成预算。提高 max_tokens、降低推理强度,或对简单请求关闭思考模式。 |
| 工具调用解析失败 | 确认启用 V4.1 分词器、工具调用解析器、推理解析器与自动工具选择标志。 |
| 视觉输入不工作 | 启动时使用 --language-model-only 会关闭视觉编码器;测试图像前需以多模态支持重新启动。 |
服务器在开始生成前内存耗尽
决定显存占用的主要是完整检查点,而不是 8B/16B 的活跃参数。MoE 路由只减少单个 token 参与计算的参数量,被路由到的专家权重仍需驻留在可访问的显存中。约 511 GB 的检查点加上运行时开销,使 vLLM 官方配方把约 614 GB 可用 VRAM 作为基线估算。
排查时优先检查四项:张量并行是否与加速器拓扑匹配、--gpu-memory-utilization 是否设置过高、是否加载了视觉编码器,以及实际可用 HBM 是否达到估算值。这一预算不保证覆盖所有批大小、上下文长度和多模态配置,显存不足时应先缩短 --max-model-len 再调整并行度。
-V4.1-Flash 启动耗时较长
半 TB 级检查点需要经历下载、映射、初始化与分片几个阶段,每个阶段都以分钟计而非秒计。首次启动还要把权重写入本地缓存,因此磁盘剩余空间必须显著高于 511 GB,临时文件与引擎产物会推高峰值占用。
引擎就绪超时设得较长属于正常做法,官方示例使用 VLLM_ENGINE_READY_TIMEOUT_S=3600。如果启动在超时前反复失败,先确认权重已完整下载、容器能看到全部 GPU,再怀疑模型本身。
响应为空,或以 finish_reason=length 结束
思考模式会与最终回答共享同一个生成预算。当 max_tokens 设得较小,推理内容可能已经耗尽额度,最终答案为空或被截断,此时服务器本身并未故障。
三种处理方式:提高 max_tokens;在 chat_template_kwargs 中降低 reasoning_effort;对简单请求直接关闭思考模式。开启思考模式后仍返回空内容时,先核对生成预算,再排查部署配置。
工具调用无法正确解析
工具调用的解析依赖启动参数。服务端需要启用与 V4.1 匹配的 tokenizer、工具调用解析器、推理内容解析器,并开启自动工具选择:--tokenizer-mode deepseek_v41、--tool-call-parser deepseek_v41、--reasoning-parser deepseek_v41、--enable-auto-tool-choice。缺少其中任何一项,模型可能正常生成文本,但工具调用会退化为普通内容或无法被客户端识别。
视觉输入无法正常工作
以 --language-model-only 启动会主动关闭视觉编码器,这是纯文本负载下节省显存与启动时间的配置,不是故障。需要处理图像时,应使用启用多模态支持的启动方式重启服务,再测试图像输入。若仍失败,再检查显存余量与运行时是否完整加载了视觉相关权重。
应该在本地运行 -V4.1-Flash 吗?
DeepSeek-V4.1-Flash 的 MoE 与因果编码器-解码器设计显著降低了单 token 计算量和 KV 缓存开销,但 552B 级权重仍属前沿规模部署目标,并不会因此变成桌面模型。
对研究实验室、企业 AI 平台、私有编码代理栈或气隙环境,vLLM 与 SGLang 已使自托管在技术上可行。只有一到两张 GPU 的开发者则不适合部署完整模型。若不需要掌握权重、修改模型或把数据留在本地,托管 API 能避开数百 GB 的模型管理与多 GPU 编排,是更轻量的访问方式。
常见问题
DeepSeek-V4.1-Flash 是开源模型吗?
模型权重与代码仓库以 MIT 许可证发布,允许在许可证条款范围内广泛使用、修改与再分发。
能否在 RTX 4090 或 RTX 5090 上运行 DeepSeek-V4.1-Flash?
无法运行官方完整权重。单张消费级显卡的显存只占完整检查点所需容量的一小部分。
8B 活跃参数是否意味着只需 8 GB 显存?
不是。8B 描述的是提示处理阶段参与计算的参数量。完整的专家网络及其配套状态仍需被存储,并保持推理引擎可访问。
DeepSeek-V4.1-Flash 需要多少显存?
当前 vLLM 配方以约 614 GB 作为官方检查点加运行时开销的规划值。实际需求随硬件、批大小、上下文长度、是否启用视觉支持以及服务配置而变化。
DeepSeek-V4.1-Flash 在磁盘上占多大空间?
按当前 vLLM 的拆分口径,检查点约为 476 GiB,即约 511 GB。下载缓存所在文件系统应预留明显高于该数值的可用空间,临时文件与引擎产物会推高峰值占用。
能否在本地运行 1,048,576 tokens 的上下文?
架构上限为 1,048,576 tokens,但实际显存占用还取决于批大小、运行时缓冲区、视觉状态与其他开销。从 131,072 tokens 起步、确认稳定后再提高上限,比直接开启全量上下文更稳妥。
能否用 Ollama 在本地运行 DeepSeek-V4.1-Flash?
当前对应的模型条目走 :cloud 云端路线,该命令不等同于下载完整权重并在本机完成全部推理。
vLLM 与 SGLang 哪个更适合 DeepSeek-V4.1-Flash?
两者都面向高性能服务。vLLM 目前提供了较为详细的 V4.1 专用部署配方,SGLang 同样适用于高级分布式部署,选择取决于集群拓扑与运维习惯。
没有本地硬件时,如何使用 DeepSeek-V4.1-Flash?
通过托管 API 访问。这类服务由提供方承担显存与多 GPU 编排,客户端通常以 OpenAI 兼容接口调用,适合不需要掌握权重或修改模型的场景。
