双 2080Ti 魔改卡跑 Qwen3.8-Flash-Next 125B:两天调优实录,从 40 到 100 t/s

本文最后更新于 2026年11月16日 中午

先说结论

两天,两台机器,四轮换档,十几次配置实验,我们把 Qwen3.8-Flash-Next(125B MoE)在双 RTX 2080Ti 22G 魔改卡上从 40 t/s 调到了 100 t/s(另一台双 3080 机器同样到 100+)。这篇是完整的踩坑实录,所有数字都来自暖态三轮中位实测,所有结论都可复现。

最终配置一句话:Strata 引擎 + IQ3_XXS 量化 + 256k 上下文 + 纯 MTP 推测解码。

四档量化吞吐对比

为什么是 Strata:125B MoE 怎么塞进 44G 显存

Qwen3.8-Flash-Next 是 125B 参数的 MoE 模型,总权重远超两张 22G 显存卡能装下的量。三条路线里只有一条能走:

方案 结论 原因
llama.cpp ❌ qwen4exp 架构只支持 layer split(tensor split 报 not implemented),MTP 原生缺位
NInfer ❌ 仅支持 RTX 5090(sm_120a),构建期 arch 检查直接拒绝
Strata ✅ 原生 MTP + 专家从 RAM 按需流式到显存,双卡 layer split 不需要 NVLink

核心机制是专家流式:MoE 的专家权重常驻系统内存(图灵机 121G RAM),每次前向只把被激活的专家经 PCIe 拉进显存的热点缓存。显存不够没关系,RAM 来凑——这就是老卡跑大 MoE 的门票。

第一个坑:dflash2 推测解码器拖速 30%+

部署初期速度只有 40-53 t/s,怎么调都上不去。翻引擎日志才发现:安装器默认注入的 dflash2 drafter 显存占了 +1026 MiB,但 serve 模式下 drafts accepted 恒为 0 of 0——一个 draft 都没被接受,纯粹的显存和调度开销。

更隐蔽的是,dflash2 在位时会把真正有效的 MTP(Multi-Token Prediction,模型自带的推测头)挤掉。删掉 dflash2 三件套参数(--draft dflash2 --draft-model ... --draft-fallback none)之后:

机器 删前 删后 提升
安培(双 3080) 59 t/s 82 t/s +39%
图灵(双 2080Ti 魔改) 40 t/s 53.6 t/s +34%

一个”无效组件把有效组件挤掉”的案例。教训:推测解码的收益要看 drafts accepted 计数,不是配了就赚。

四档量化实测:速度与体积严格反比

同样硬件(安培双 3080)、同样 128k 上下文、同样纯 MTP,只换量化档:

量化档 体积 decode 中位 MTP 接受率
IQ3_XXS 75.8G 118.8 t/s 61%
IQ3_S 83.7G 108.6 t/s 62.5%
UD-Q3_K_XL 90G 94.9 t/s 62%
UD-IQ4_XS 94G 85 t/s ~63%

显存预算与吞吐权衡

三个发现:

  1. 斜率约每 10G 体积换 11 t/s。因为瓶颈在 PCIe 专家流:专家字节少 10%,同样带宽能拉多 10% 的专家。
  2. MTP 接受率四档几乎不变(61-63%)。量化影响的是单 token 计算速度,MTP 靠的是模型自身的冗余性,两者正交。
  3. 质量三题(常识问答)四档全对——太浅的测试分不出质量档位,真实质量差距要靠长文写作和代码任务才能显现。日常用途选最轻的 IQ3_XXS,质量敏感场景再上 4-bit。

上下文 256k 的代价,取决于你用多重的量化

这轮实验推翻了我们自己一天前的结论。

11-16 凌晨测得”256k 比 128k 慢”(图灵 IQ3_S:74.9→67.7,-9.6%),于是定为 128k。中午在安培 IQ3_XXS 上复测:100.2→100.4,零代价。

档位 128k 256k 代价
图灵 IQ3_S 74.9 67.7 -9.6%
安培 UD-Q3_K_XL 96.3 92.8 -3.8%
安培 IQ3_XXS 100.2 100.4 ≈0
图灵 IQ3_XXS 55.8 54.1 ≈-3%(噪声级)

规律清晰:量化越轻,上下文代价越小。机制是 KV streaming——KV 缓存的最近 32768 cells 驻显存(固定窗口,不随 ctx 缩放),完整 K/V 镜像驻 pinned RAM。ctx 翻倍 → KV 换页流量翻倍;但轻档的专家流本来就占满了 PCIe,KV 换页占比相对小。

代价去哪了?显存不变,内存线性涨。实测安培 128k→256k:

项 128k 256k
显存 38.5G 38.6G
KV pinned RAM 0.64 GiB 1.29 GiB(翻倍)
引擎 RSS ~49.4G 50.0G

每 +128k ctx ≈ +0.65G pinned RAM(int8 KV)。显存稳定的原因是 --kv-resident 32768 固定驻留窗口。所以”上下文要不要开大”这个问题,先看你的 RAM 余量,不是显存。

显存预算:–vram-reserve-mib 是唯一正确旋钮

图灵机还要腾显存给语音识别/合成。需求:Strata 显存从 42.6G 压到 32G。

专家缓存的 auto 模式默认”吃满剩余显存换命中率”(99.5% 命中,78% 的 decode 计算走显存缓存)。压缩它有两条看似可行的路,实测都是坑:

  • --expert-cache-device1:直接崩溃。与 layer split 冲突,engine exit 2,systemd 陷入重启循环。
  • 固定 --expert-cache N:只约束 CUDA0,第二张卡照样自动填满(所谓”两卡不对称”问题的真因)。

正确旋钮是 --vram-reserve-mib(默认 700):auto 缓存的公式是”空闲显存 - reserve = 缓存槽”,把 reserve 调大,auto 自然少吃。实测曲线:

配置 总显存 吞吐 命中率
auto(默认) 42.6G 64.4 t/s 99.5%
reserve=6000 40.4G 55.4 t/s 98.4%
reserve=10000(终态) 32.4G 55.8 t/s 96.6%

ctx 代价曲线

有个中间陷阱:reserve=6000 时缓存槽缩到阈值以下,引擎的 prompt path 从”借缓存槽”切换成”独立分配 4.12G/卡 缓冲”(日志:keeps its own prompt buffers: no loan),把你释放的显存又吃回去大半——净释放只有 2.2G/卡。直接把 reserve 拉过这个阈值(10000)就跨过去了。

最终 -13% 吞吐换 10.2G 显存,每卡留出 ~6.3G 给 whisper-large + TTS,够用。

那些不直观但重要的细节

采样参数不用配。Strata server 内置了各架构官方推荐(Qwen3.8 thinking 模式:temp 1.0 / top_p 0.95 / top_k 20),不写采样配置就是最优,客户端手动设置反而会覆盖掉推荐值。

profile 有两份 args。改配置必须同步改 args 和 args_written 两份,改一漏一会出现”看起来改了但没生效”的灵异问题。

server 层参数会延迟爆炸。--parallel/--batch-mtp 是 server 层参数,engine 不认。带它们改 ctx 时 vram_fit 走另一分支,参数原样透传 engine → unknown argument → 崩溃循环。131k 下正常、256k 下爆炸,延迟发作极难排查。

换档 = 手工补丁全丢。从 install json 重新生成的 profile 不带任何历史修复(工具调用修复、ctx、调优参数)。每次换档用一站式模板脚本生成,别手工拼。

磁盘要预留。换档前先 df -h:图灵机装 IQ3_XXS 时就因为剩 64G < 需 76G 装到一半失败,删掉旧档才装上。

终态配置

两台机器最终对齐为完全相同的配置:

1
2
3
量化 IQ3_XXS(75.8G)+ ctx 262144(256k)+ kv int8 + kv-resident 32768
+ spec 4 + spec-min-p 0.5 + 纯 MTP + expert-cache auto + ple-io ram
+ layer-split auto(安培 reserve=默认,图灵 reserve=10000 限显存 32.4G)
机器 硬件 decode 显存 RSS
安培 双 3080 20G 魔改 + 92G RAM 100.4 t/s 38.6G 50G
图灵 双 2080Ti 22G 魔改 + 121G RAM 54.1 t/s 32.6G 73.3G

从 40 t/s 到 100 t/s,2.5 倍的提升没有花一分钱硬件,全部来自:删掉无效组件(+34%)、选对量化档(+28%)、上下文与显存的正确取舍。老卡跑新模型,值得。

(完)


双 2080Ti 魔改卡跑 Qwen3.8-Flash-Next 125B:两天调优实录,从 40 到 100 t/s
https://blog.normdist.com/2026/11/16/ND-20261116-001-article/
作者
小瑞
发布于
2026年11月16日
许可协议