AiBox · 2× RX 6900 XT · Qwen3.8-Flash-Next IQ3_S · 09-30 → 10-13

Flash-Next 调优时间线

同一个模型（IQ3_S）在这台机器上从 llama.cpp 换到 Strata，再一步步叠加改动。每一步写了当时为什么这么做和实测效果；虚线框是试过但没采用的方向。速度一律指双卡 layer split。

现在（strata-144-hcpa-efa52cd1：0.1.44 + 常驻 hc 读 + E387 解码配置 + SPLIT_MTP_BATCH）

9854K prompt tok/s（E415）

1,79232K prompt tok/s（E415；三轮均值 1,829）

2,046128K prompt tok/s（E415，无图片编码器）

77 / 82 / 75解码 tok/s，4K / 32K / 128K（E415；真实会话 138K 上下文 78）；之前 66–75

生产（10-13 20:10 起）= Strata 上游 0.1.44 + STRATA_SPLIT_MTP_BATCH=1 + 7 个本地补丁（PR #1149 / #1151 / #1167 + rocBLAS 解的本机缓存）+ 验证器 hc 读常驻内核（PR #2226，STRATA_HC_PERSIST=1）+ 自改的 llama.cpp ggml（MMQ 的 q8_0 / iq3_s dot 链头用 VOP3P 编码）；对 0.1.42 底座的同一套（回退槽）32K 每窗 −1.4%，其余噪声内（E455）。上面四个数是 E415（常驻 hc 读之前）；常驻 hc 读之后每个验证窗口再短 2.5–2.8%（E427）和 0.8–1.4%（E439），tok/s 没按 E415 的方法重测。UD-Q4 槽仍在 0.1.42。

速度怎么一步步上来的

读 prompt，4K（tok/s，左轴）读 prompt，32K–37K（tok/s，左轴）读 prompt，128K（tok/s，左轴）解码（tok/s，右轴）

各点来自不同实验，条件不完全相同：4K 线的前两点是 5K prompt（E215），238abe8 / 341922e 的 4K 来自两份社区报告的 split 臂；最后一点的 prompt 三档取 E383/E387 的生产臂（解码配置不改 prompt，E388 ±0.7%）；llama.cpp 和 132a522 是 37K（E215）；0.1.39 和 238abe8 来自 10-05 社区报告，当时自适应关着；61c59fa 只测了 128K（E300）；341922e 来自 E342；10-07 起的点来自 E362 / E380 / E382 / E383 的 P 臂（生产配置、图片编码器在 HIP0）；最后一点是 E415（社区报告 #1927 的 iq3s-split-prs 臂，无图片编码器）。空心点表示那一步没测这个指标。最后一点是社区报告 #2237 的 prs 臂（0.1.43.1 + 同一套补丁 + #2226，PLE 表未锁页），不是生产二进制（生产仍是 0.1.42 底座，0.1.43.1 实测无收益未升级，E432）。

一张卡、helper、双卡分层（0.1.41，32K）

stock + 两个开关（F16 prompt、SH_STREAM） + 三个 PR + rocBLAS 缓存 + MMQ 补丁 + E387 解码配置（仅分层）

E388 / E388a，同一晚同一脚本，无图片编码器，每格 2 次取中位。单卡 16 GB 只装 ~4,500 个专家槽（命中 83%），解码压在 48–52；helper 让第二张卡只放专家，解码 66–75，prompt 仍是单卡速度；分层两项都提。helper 臂带 STRATA_HIP_ADAPT_KERNEL_COPY=1。

每一步

已经到地板的（10-08 后别再提）

解码的配置级旋钮单独调都到头了：--kv-resident 缩小（E382，专家槽只 +0.7%）、单开 --pipeline-windows 2（E384，+1–6%）、--spec × --spec-min-p 16 点网格（E385，pipeline-windows 1 下 4/0.5 是峰值）。但组合有效：spec 3 / min-p 0.7 + pipeline-windows 2 解码 +10–16%（E387，三轮确认，10-09 上生产）。
并发批槽：常驻专家 41% 低于上游门槛 50%，槽里不带 MTP，2 路并发总吞吐不如单路（上游表）。
IQ3_S 的 MMQ 分块 / stream-K（E279/E280）、--prefill chunk 8192 即甜点（E296）、张量并行（E234，+6%）。
上游自己测过对小卡无益：GDN 分块（需 128 SM）、Foresight 交换槽（解码变慢）、STAGE_PIN（IQ3_S 损坏，改回 opt-in）。
0.1.42 的 opt-in（E413）和把 llama.cpp MMQ 补丁带进 Strata（E414）：只有 STRATA_SPLIT_MTP_BATCH=1 过线（已上生产）；TAIL_SKIP / ROUTE_RESIDENT / aux-cpus 在噪声内或更慢，RESIDENT_SORT / PF_FUSED 本机不触发；ggml 补丁在 Strata 的专家 GEMM 上 ±1%。
prompt 专家段（E450–E452）：llama.cpp 的 MMQ 在真实形状上 28–34 TOPS 封顶；换 tile 宽度不省时；原地读不搬运只 +0.5%。上游 0.1.43.1（E432）对本机无收益。
还有空间的只剩：PCIe 拓扑 x16+x4（大 prompt 约 1.5×，代价是 27B 的张量并行会崩，用户定）。解码在这个显存容量下已到地板（命中率与草稿接受率）。

数据：实验编号（E…）对应作者的实验日志（见本仓库 README）；Strata 上游 bench/results 里的社区报告（PR #927 / #1270 / #1657 / #1927）。Developed with an AI coding assistant; every number above was measured on 2x RX 6900 XT (gfx1030, PCIe 4.0 x8 each) / Ryzen 5 5600X, ROCm 10.0.