Repository navigation
acceptance: DeepSeek V4.1 Flash 910C 8K/1K TPOT ≤25 ms/token at C1/C4/C16 #353
Description
DSV4.1 优化任务书
修订：2026-11-05（Asia/Shanghai）。治理：InferRSI #353；历史：#329。本次仅精简文档，不恢复已停止的优化任务。
1. 目标与当前依据
在 jcz-dsv41（单机 Ascend 910C，8 卡 / 16 die）上优化 DeepSeek V4.1 Flash W8A8：全服务并发 C1/C4/C16 各自 TPOT ≤25 ms/token，固定 GSM8K 300 题答对 ≥292，功能正确。 后续不测 C32 性能；GSM8K 仍用 C32。
- 初始 8K/1K 基线
9be3c22a和三组 A/A 已完成，直接沿用，不重测初始基线、A/A 或父版本。 - 后续直接父版本采用最近有效保留结果，见 slot-arena、DSpark staging。目标尚未完成，issue 保持打开；恢复时核对实际提交与部署身份。
- 历史 C32、旧配置结果和原判定保持原样，不追溯改判，也不作为新协议的必需证据。
2. 工具、知识与开发边界
- 设备操作遵循
itask-cli-guide；InferRSI 遵循plugins/inferrsi/skills/inferrsi/SKILL.md。使用既有 InferRSI.venv，分支codex/vllm-ascend-0271rc1-skill，记录实际 revision。 - 每轮实施前实际查询 InferRSI，重点阅读 cannbot、vllm、vllm-ascend、Ascend 知识库正文，仅禁止 DeepInfer 及其转载、派生内容。其他模型专属知识和外部资料允许；混合包按条目排除，不整包跳过。
- 在
plan/<round>/knowledge-hits.md记录查询范围、版本、条目、阅读及采用情况，并将哈希绑定 RunSpec。已查询无命中可继续；未查询或查询失败先补齐，不用源码阅读冒充知识查询。 - 可扩展原生 HCPre 算子；沿用插件、已有 patch 和算子扩展架构，遵守 AGENTS.md。新增环境变量集中定义；NPU 热路径避免不必要同步，按改动覆盖数值、形状、缓存、图回放、通信及受影响消费者。
- 快筛用于排序，有实际改善的候选不因未达预估快筛收益而直接剔除；保留并安排正式验证。微基准或组件正确性通过不等于服务性能、模型精度通过。
- 如后续使用 subagent：分析优化用 GPT-6 Astra Ultra；评测测试或简单任务用 GPT-6.1 Terra xhigh。设备由唯一负责人操作。
3. 固定服务配置
| 项目 | 配置 |
|---|---|
| 并行与权重 | 单机 PD 混部，TP4 / DP4 / EP16，expert parallel；既有 W8A8 权重，不重新量化 |
| 投机与图 | DSpark，num_speculative_tokens=5；mode=0、FULL_DECODE_ONLY、capture sizes [24,48] |
| 上下文与调度 | max_model_len=153600、block_size=128、每 DP max_num_seqs=8、max_num_batched_tokens=8192 |
| Ascend 开关 | enable_dsa_cp=true、enable_flashcomm1=true、VLLM_ASCEND_ENABLE_FLASHCOMM1=1、enable_shared_expert_dp=true、enable_fused_mc2=1（整数） |
| 执行路径 | target/draft Ascend grouped W8A8；前缀缓存开启 |
| 模板与接口 | 既有冻结 chat template，reasoning-parser=deepseek_v3，content format openai；loopback，服务名 dsv41-0day；文本输入 |
恢复前核对设备健康、占用/租约、权重分片、源码、算子库、软件版本和启动参数。同时记录 Git HEAD、实际部署文件哈希及目标提交，不能仅凭 HEAD 认定部署一致。历史软件快照为 CANN 9.1.0、驱动 25.5.1.1、torch 2.10.0+cpu、torch-npu 2.10.0.post4、Python 3.12.13，上游 vLLM 6e448d0ea9bf3d88d898b65449ca6dc2aec170ac。
8192 输入超过曾观测的单步预算 8160，核验分块 prefill 和实际生效配置，不截短输入。正式窗口不混入其他流量或 profiler；记录 DSpark 接受量、MC2/FlashComm1 路径及活跃 ranks 的 FULL 回放证据，启动 capture 日志不能代替运行时核验。
4. 性能协议与判定
4.1 请求和计时
每候选固定 B1 → B2 两次独立服务启动，同一提交、权重与配置。每次按 C1/C4/C16 升序，各先 C 条预热、再 C 条同步正式请求；每服务各 21 条，两轮合计 42 条预热＋42 条正式请求，健康探针单列。
- 预热 8192 输入 / 32 输出；正式 8192 / 1024。沿用已冻结、互不重叠的两个 32 条 raw-token 输入库，仅使用各库前 16 条及每档前 C 条；冻结原库与所选子集哈希。数据来自 GSM8K train question，不用精度 test 答案。
/v1/completions：stream、include_usage、return_token_ids 开启；echo=false、add_special_tokens=false、ignore_eos=true、temperature=0、top_p=1、seed=0、n=1；正式min_tokens=max_tokens=1024。- barrier 同步发送；
X-data-parallel-rank=slot%4；每 attempt 使用唯一cache_salt，逐请求核验cached_tokens=0。既有 HTTP/barrier timeout 为 1800/60 秒，运行前冻结实际值。 - 用
perf_counter_ns：start 为打开 HTTP 前，first 为首个含生成 token ID 的完整 SSE frame，end 为 HTTP EOF（含 usage、DONE）。一帧可含多个 token，不能用帧数代替 token 数。
TTFT_i = (first_i - start_i) / 1e6
E2E_i = (end_i - start_i) / 1e6
TPOT_i = (end_i - first_i) / 1e6 / (output_i - 1)
B_r(C) = 该档该轮全部请求 TPOT 的算术平均
版本 TPOT(C) = median(B1(C), B2(C)) = (B1(C) + B2(C)) / 2
保留所有请求与尾部 drain，不裁剪慢样本。核验数量、token IDs/长度、错误、缓存、身份及 SSE 可复算性；失败保留原记录，同一有效服务可用新 attempt 重跑完整该档，不自动追加服务。无法完成记 INCONCLUSIVE。此协议衡量固定请求波延迟，不据此推断持续负载 SLO。
4.2 中间候选与最终验收
首个请求前冻结假设、预设目标档、父/候选身份、输入、工具、RunSpec、validator 和参考证据。每档父值 P 为直接父版本已有完整可比有效轮均 TPOT 的中位数；预先冻结所用轮集合、run ID、路径和哈希，不按候选结果挑选。历史对照须披露时间间隔及环境可比性限制。
沿用校准报告完整精度门槛：C1 约 1.093141%、C4 约 1.373789%、C16 约 1.633942%。计算 g1=(P-B1)/P、g2=(P-B2)/P，按以下顺序用未舍入值判定：
- 三档候选或父参考证据缺失、环境不可比：INCONCLUSIVE，不自动重测父版本或用更早版本替代。
- 任一档
median(g1,g2)<-threshold_C，或P≤25而median(B1,B2)>25：FAIL。 - 任一预设目标档两次收益一正一负：INCONCLUSIVE。否则至少一个目标档两次均改善且收益中位数超过门槛：中间性能 PASS；仅等于门槛记 INCONCLUSIVE，其余不满足收益条件记 FAIL。
- 性能 PASS 后测精度；FAIL/INCONCLUSIVE 时精度记 NOT_RUN，不冒用父版本精度。用户单独要求精度时按该次要求执行。
最终交付：在同一 exact commit 上重新完成两次独立有效性能轮，三档 TPOT 中位数各自 ≤25，再通过精度与功能核验。最终绝对目标不作为中间候选的晋级门槛。配置、权重或负载实质变化单列，不套用不可比证据。
5. 精度与服务复用
执行顺序：B1 性能及核验 → 停 B1 → 启 B2 → B2 性能及两轮判定 → PASS 后直接在 B2 跑 GSM8K → 核验并停 B2。正常流程不另启精度服务；B2 失效时记录原因及新服务身份，不能冒充复用。
| 项目 | 冻结要求 |
|---|---|
| 数据 | GSM8K revision 3101c7d5072418e28b9008a6636bde82a006892c；test 1319 题中 sorted(random.Random(42).sample(range(1319),300))，题序固定 |
| 评分器 | AISBench 5a63d936e40dd04addfcffb2401f84cd0e53bb46，原生 Gsm8kEvaluator |
| 提示 | gsm8k_gen_0_shot_cot_chat_prompt，zero-shot CoT，冻结模板和 wire prompts |
| 推理与采样 | thinking_mode=thinking、enable_thinking=true、reasoning_effort=low；temperature=0、top_p=1、seed=0 |
| 请求 | 300 题，C32，0 次预热，每题一次，输出上限 4096；不继承性能强制输出 1024 的参数 |
| 有效性与门槛 | 300 个唯一题目和对应 attempt/response，零请求失败；原生答对 ≥292/300，始终锚定最初 295/300 |
精度使用独立 run ID，绑定 B2 service ID、PID/start ticks、源码/算子/权重及配置。性能原始记录先封存、判定完成并排空请求，再开始精度；指标按阶段快照取差，记录继承的缓存状态。截断按原规则评分，不剔除或重试到答对；final 正文评分、提取失败与截断数辅助报告，不替换主评分。配置、数据、题序及提示哈希运行前冻结，历史 16K 配置不能直接当作当前证据。
6. 每轮耗时、归档与交付
从首次查询/分析到保留、淘汰或中止后的归档结束，实时记录：分析思考、知识查询/阅读、编码、构建/部署、调试分析、组件验证、服务准备/回收、性能预热、正式性能、精度、复算/审查、归档/提交、等待/暂停、未归因时间。失败及重试分别记录，B1/B2 不重复计开发成本。
阶段切换即写 plan/<round>/time-ledger.jsonl：round/attempt ID、执行者、host/clock ID、类别、UTC 起止、可用的单调时钟及耗时、状态、阻塞原因、证据路径/哈希。收尾生成 results/<round>/time-summary.{json,md}，报告整轮墙钟、扣除暂停后的活动时间及各代理/命令耗时；并行取区间并集、父子阶段不重复加总。分析时间指工作阶段，不是模型内部纯推理计时；未知不填 0，不从差额或文件 mtime 反推。
依赖服务存活的检查在回收前完成；B1 释放后及时启 B2。记录释放、切换、启动和健康检查时间，解释等待；原件齐备后可在独立资源离线复算归档，已通过检查仅在输入变化、失败或证据冲突时重做。
实验根目录为既有 dsv41-0day-20261102/，本阶段 resume-8k1k-20261104/：
| 目录/资产 | 用途 |
|---|---|
plan/ |
RunSpec、知识记录、输入/工具哈希、父参考与门槛、耗时事件 |
results/ |
原始请求/SSE、指标/日志、精度输出、复算、耗时、停止状态及判定 |
patch/、validator/ |
父/候选源码与部署清单；冻结的计时、评分和完整性校验 |
plan/input-ids-8k.json、plan/client-release-002.json |
已冻结 8K 输入及 release，使用前核对其引用关系 |
aisbench/gsm8k/subset300/（实验根目录下） |
精度 release、selection manifest、data/test.jsonl；提示映射沿用原归档 |
results/non-evaluation-timing-20261105/ |
历史非测评耗时明细及证据；缺失的思考/编码时间保持未知 |
plan/concise-plan-20261105-001/plan-before.md |
本次精简前全文，保存历史表格、资产哈希和旧命令以供追溯，不覆盖现行规则 |
原始证据保留路径、SHA-256 与可访问性；公开 issue 只放脱敏摘要，不能把“有哈希”当作独立复核完成。每轮报告假设、父/候选 SHA、P/B1/B2、收益与门槛、精度、功能、知识采用和耗时。正式保留须性能、精度、功能及配置均通过；工作 checkpoint 单列。按 Conventional Commits、git commit -s 提交，执行仓库要求的检查，推送 fork。
7. 恢复执行前待办
- 核对最新保留提交、实际部署、设备租约与健康；确认旧协议父服务已停止且无冲突流量。
- 适配并冻结 C1/C4/C16、两个候选服务、B2 精度复用及逐阶段计时的 RunSpec、执行器和 validator。旧 C1/C32 快筛、旧配对脚本和旧 run ID 不能直接套用或覆盖。
- 按“知识查询 → 单假设实现 → 必要组件验证 → 两轮性能 → 精度 → 归档/提交”推进，直至最终验收；文档修订不代表执行器已完成或测试已恢复。
同步文件：INFERRSI_DSV41_OPTIMIZATION_PLAN_20261104.md，SHA-256 3933247e633c274a2110b221b97a93b02dbe4fbb94d35682a4513fdf07a75290。历史执行明细保留在既有 issue 评论及受控归档中。
Activity
Dong1017 commentedon Nov 4, 2026
增量方案评审（#353 新配置的质量归因；仅建议，不构成实验授权）
当前方案将 8K/1K、150K 上下文、
enable_fused_mc2=1与历史 #329 的 1K/1K、16K、MC2=0 明确分开，并规定先校准、后候选，这一点合理。但还有一个需要在冻结新 RunSpec 前澄清的归因边界：NOT_RUN）。这是质量解释与归因规则的建议，不要求现在启动模型/硬件实验，不改变 §7.1 的既定执行权限或先性能后精度顺序。
amy-why-3459 commentedon Nov 4, 2026
感谢整理，这份续轮计划把 8K/1K 新负载与历史 1K/1K 数据的边界划得很清楚，“先基线 + A/A 校准、再候选优化”“性能未过则精度 NOT_RUN”的顺序也很合理。启动预检前有几点建议一并核对，供参考：
max_num_batched_tokens的最终生效值；如果只靠把该值调到 ≥8192 来规避，也请把它作为配置变化单独登记，避免两臂或基线与候选之间不一致。max_model_len=153600下，请在预检时记录实际分配的 KV block 数，确认每 DP 8 条 × 9216 token 的并发可以全部常驻，不会触发抢占/重算（抢占会直接污染 TPOT）。建议把num_preemptions或等价计数纳入每轮有效性检查。enable_fused_mc2=1的生效核验：鉴于原提交曾撤回 fused MC2 接入，建议除了确认 additional-config 接受整数1（而非仅true）外，还要用运行时日志或 hook 证明 target 与 draft 的 MoE 实际走了 fused MC2 路径，避免出现键被静默忽略、实际仍是关闭状态的情况。resume-8k1k-20261104/plan/时把该文件原样放入，方便第三方核对哈希与 issue 正文是否一致。如果以上某些点在现有
bench.py/ validator 中已有覆盖，直接在下一次更新里注明即可。期待基线结果。jiangkuaixue123 commentedon Nov 4, 2026
Execution resumed for
resume-8k1k-20261104under the owner's instruction to continue until the goal is achieved. One Codex root agent owns device operations; delegated agents prepare MC2 enablement, the new benchmark/validator, and the service runner without operating the device.Initial inspection: all eight NPU cards report no running processes, and no inference/evaluation worker is present. The task remains running. Local source starting point is the clean
77a4dfde962c2c99d2b69b1879e97b3fcc4209ca; deployed overlay identity is being checked separately from remote Git HEAD.Preliminary source inspection found that the current V4.1 runner forces grouped ALLGATHER even when integer
enable_fused_mc2=1is requested. Necessary configuration enablement will therefore be a separately identified prerequisite, with functional checks and a newly frozen baseline. No performance candidate search or new performance result is claimed.The fixed 153600 context, TP4/DP4/EP16, DSpark5, FULL_DECODE_ONLY
[24,48], 8K/1K workload and C1/C4/C16/C32 protocol remain unchanged. A separate input release, RunSpec and validators are being prepared before three same-version A/A pairs. Accuracy remainsNOT_RUNuntil the applicable performance gate is met.Controlled evidence mapping:
<EXPERIMENT_ROOT>/resume-8k1k-20261104/{plan,results,patch,validator}. Knowledge access/adoption record:plan/knowledge-hits.md; source allow/deny rules:plan/source-whitelist.json. InferRSI governance documents were read; neither optimization knowledge library has been queried. DeepInfer and V4.1 specialized knowledge remain excluded. Overall acceptance: INCONCLUSIVE.jiangkuaixue123 commentedon Nov 4, 2026
Preparation milestone (no new performance result): the remote starting deployment matched all 73 source-manifest files; 142 checkpoint shard fingerprints match the prior task (only recorded remount ctime fields differ). The new input pool contains 32 warmup and 32 measured requests, each exactly 8192 token IDs, with 64 distinct hashes. Input SHA-256:
0ce4f81f98f2a9a95f64800a8471b44f6bf066310cf971ff7a3911cce1d3e868.A separate 8K harness, service runner and window-edge replay observer passed 27 CPU tests on the target environment (11 + 10 + 6). The observer reads existing CPU replay counters only at window boundaries; real-device overhead and runtime qualification are still pending. Frozen client release:
perf8k/assets-001/release.json, SHA-256ca2c008417a734677cc1ddd0d855427aecf6a3a90288bec4e40c3d93f24d34ff; input-generator provenance SHA-256c941a0ae8c820b32f23aed8350f19b5ac4877fb9565e54585e820eecbda34c0e. These are controlled local/remote artifacts, not a claim of public third-party reproducibility.Prerequisite MC2 enablement is under compilation and independent review. Review found and the implementation addressed UB buffer allocation, vector synchronization and small-batch tiling defects. NPU numerical checks, real target/draft fused execution and startup qualification have not passed yet. Original native libraries are backed up; failed/cancelled build attempts are retained. No formal baseline or optimization candidate has been measured. Accuracy remains NOT_RUN because performance determination is incomplete; overall acceptance remains INCONCLUSIVE.
Knowledge records:
resume-8k1k-20261104/plan/knowledge-hits.md,perf8k/plan/knowledge-hits.md, andresume8k_service/knowledge-hits.md. Optimization knowledge libraries remain unqueried; task source and task-owned evidence/tools were used, with the existing source exclusions preserved.jiangkuaixue123 commentedon Nov 4, 2026
续轮使能阶段更新（尚未进入8K性能基线）：
jiangkuaixue123 commentedon Nov 4, 2026
MC2前置使能数值复测更新：snapshot005按当前CANN通用DynamicQuant实现统一向量归一化顺序，并保留默认false路径。55项CPU回归通过。
独立EP16严格L0-002完成：target/draft、M6/M12，共48个场景×16 ranks=768份记录，全部满足预先冻结的 atol=0.001 / rtol=0.005；最大绝对误差0.000244140625。专家计数、掩码/零输入、满容量/重复路由、capture/replay、legacy默认一致性检查通过。进程rc0，native身份不变，设备回收。004失败轮保留，门槛未改变。
源码清单SHA-256：bf73aaa080309c8e55661388fa387e4589353122b08ddff2af1ad85920fbd3af；L0原始日志SHA-256：922337f3a4c39a17420afa99857b9d94db72defc572b640e2fed2fb8383ec834。受控原件在新阶段 results/mc2-l0-002；此PASS仅为算子范围，不代表真实模型服务、四档性能或GSM8K通过。下一步冻结使能checkpoint与部署证明，完成真实服务功能核验，再执行新的8K/1K基线及三组A/A。campaign仍INCONCLUSIVE，性能/质量NOT_RUN。
jiangkuaixue123 commentedon Nov 4, 2026
续轮配置使能与首次服务集成更新（性能/精度仍未验收）：
9be3c22ab5dade39c0d33d49540ae021ff74bbd1，直接父版本77a4dfde962c2c99d2b69b1879e97b3fcc4209ca，tree8cb374a81c3b46283203ef416d7856a35ef56221。新增 full-load 路径支持边界检查后，严格 L0-003 再次通过 48 cases × 16 ranks，固定 atol=.001/rtol=.005；最大绝对差 0.000244140625。仓库 EP2 eager/replay 测试通过。真实 Git lineage 与部署98文件已核验；这属于配置使能，不是性能候选晋级。resume-8k1k-20261104/plan/calibration-002.jsonSHA25630944eaac600f39ddcf3d2fb288dd624803883a44dd4670e3e42226164e3fe7f链接保留001失败计划；六个新服务仍按父→候选、候选→父、父→候选执行同版本A/A，不移除任何有效配对（目前0个）。首新服务正在启动。resume-8k1k-20261104/plan/knowledge-hits.md。InferRSI优化知识库：未查询；vllm-ascend知识库：未查询。使用本任务源码/旧实验记录及通用SDK/框架源码，未访问 DeepInfer 或 DeepSeek V4.1 专属知识。整体验收保持 INCONCLUSIVE；新8K/1K四档性能尚未形成结果，GSM8K300状态 NOT_RUN（性能判定未完成），不复用历史294/300认定新配置精度。
jiangkuaixue123 commentedon Nov 4, 2026
A/A 基线进入实际测量，继续保留前置失败记录：
eff99f3b7dcb9607e2885877336435e49bf9ed747cc4949ae4973bae6e094203；harness SHAa6ea88a32ef4d6d3e4ff0ee954823f73401bea4bfe0c003c6fa5ae59d4c3185c。新校准计划plan/calibration-003.jsonSHA130252e5bf2f7eaa11bd1ca32ff3ad6f1d2bb0dd8926ff4ae96f14992007c28b已在此次测量前冻结，并链接保存001/002失败计划，源提交仍为9be3c22a。六个新服务均使用同一release，执行顺序不变。此前尚无有效性能配对，没有删除高波动结果。整体仍为 INCONCLUSIVE；新GSM8K300保持NOT_RUN（性能判定未完成）。知识记录延续
resume-8k1k-20261104/plan/knowledge-hits.md，两知识库均未查询；本次只用本任务原始证据和标准HTTP行为诊断。jiangkuaixue123 commentedon Nov 4, 2026
resume-8k1k-20261104：第 1 / 3 组同版本 A/A 已封存
固定基线
9be3c22ab5dade39c0d33d49540ae021ff74bbd1，冻结计划calibration-003.jsonSHA-256130252e5bf2f7eaa11bd1ca32ff3ad6f1d2bb0dd8926ff4ae96f14992007c28b；两臂均使用同一源码、输入、client release、服务参数与 observer 条件。单位 ms/token，每档所有请求 TPOT 算术平均。每个服务均完成 8 波、106 请求，原始 SSE 独立复算一致，8192 输入、正式 1024 输出、warmup 32 输出、缓存零命中、DP 指标及 FULL 回放证据通过。owner 完成活服务 gate 后停止，两个服务均
REAPED_IDLE。证据相对本阶段根目录，原件位于受控实验归档，未公开上传：
results/aa8k-p1-parent-003-review.tar.gzSHA-2564cee836b07fa1603ad7c53a208bfa8c5247b1bf5d403efd724811feee2b55b1b；服务 gated SHA-256d2c2c97783228227aa211dcbd68e6d70a23cf78aa320b640903d8cce614186bb。results/aa8k-p1-candidate-003-review.tar.gzSHA-25687a6e86d0f19c6c10f089a3cd479aa7b5cf4544c47d95bb44a2775df0fd4cd75；服务 gated SHA-256e2051ae726271fc1b2a29ed90a2ffafe6d48bcf05ae14bbecd4a691ed16f3c9b。65c3f9d47c23c5593f0cdb9281bdd1aefe65d23b9a1f278fd981392533d37f1e；candidate0fbc6ee5dffc05c9865cfed2d1d6b94600c7f7d7c034187286acbec73b8cf00a。这些 PASS 仅表示各服务证据有效。仅 1 / 3 组完成，尚不冻结校准门槛；所有有效波动（包括 C32）保留。四档尚未达到 25 ms/token，GSM8K 新配置精度为 NOT_RUN（性能判定未完成）。后续依次执行 p2 candidate→parent、p3 parent→candidate；完整基线冻结后才开始 profiling/候选优化。整体仍 INCONCLUSIVE。
知识命中：本组 InferRSI 与 vllm-ascend 优化知识库均未查询；仅复用本任务冻结工具、源码身份和原始运行证据。记录
plan/knowledge-hits.md。jiangkuaixue123 commentedon Nov 4, 2026
resume-8k1k-20261104：第 2 / 3 组同版本 A/A 审核完成
仍使用冻结基线
9be3c22、plan003、client release002 和相同无 profiler 条件。按预定第二组顺序 candidate→parent 执行，每个角色为全新服务。单位 ms/token。两服务各 8 波、106 请求均完成；独立原始 SSE/token/usage/缓存/DP/observer 复算与 validation 一致，owner 活服务 gate 通过，随后均确认
REAPED_IDLE。没有 profiler 或额外模型流量混入计时。必须保留的实际配置差异：p2 parent 的自动 KV 容量为 DP0/2/3=184960、DP1=185088 tokens；前三服务均184960。固定请求参数、effective max length/scheduled budget、env/argv/source 哈希一致，未设置 KV bytes/block override。冻结 runtime gate 要求所有 DP 容量≥153600，不要求自动块数完全相同；四档原始前后 metrics 的抢占计数均0，已审资源证据未显示异常。独立审阅建议保留服务及配对，记录 DP1 多1个128-token block；未做该差异的控制实验，不声称零性能影响，不据此删除对或修改门槛。
证据相对本阶段根目录，原件仍在受控归档，未公开上传：
results/aa8k-p2-candidate-003-review.tar.gzSHA-256b89e419f14c56dd9d28818a05c4895f51a2402bc779d674e2d67eda3f5fc1354；gated SHA-256f199946bc9f27482b97e670522890687fc09ae7b60495f7e7a65572b4469dd31。results/aa8k-p2-parent-003-review.tar.gzSHA-256a40808b5ba1ff10a7b84746cc5d0b538c55c744e4056607f9edac7fe29d6becb；gated SHA-256a28bc5081eb8449ccebd2d6b72222088a0f9306c73cead297a80b528cc70580d。3f841804dac14c9a235c828f68971501597eceeb275a77f9604f817efc61ed56；parentb27179f31d2166e57c05b96ccee01c447c5343c3fc4d55247ac58fb4b30d3843。results/kv-capacity-review-aa8k-p2-parent-003.mdSHA-2565737df1129970bbd8e1ec9e862a1b92a8bb6524a7fa1deed4cf82c313b704034，已绑定至 owner 证据。现在继续第三组 parent→candidate。全部六服务完成前不冻结阈值、不开始性能候选。新配置质量仍 NOT_RUN（性能判定未完成），整体 INCONCLUSIVE。知识命中记录
plan/knowledge-hits.md：InferRSI/vllm-ascend 优化知识库均未查询，仅当前任务源码、冻结工具和原始证据。jiangkuaixue123 commentedon Nov 4, 2026
resume-8k1k-20261104：8K/1K 初始基线与三组 A/A 已封存
固定基线
9be3c22ab5dade39c0d33d49540ae021ff74bbd1；同机同权重、TP4/DP4/EP16、153600上下文、DSpark5、target FULL_DECODE_ONLY[24,48]、双模型 decode fused MC2=1。六个全新服务按 parent→candidate、candidate→parent、parent→candidate 完成，所有角色使用同一源码。每服务8波106请求；合计318正式+318预热。额外健康/指标初始化另列。校准范围 PASS；基线绝对25ms目标四档 FAIL；新配置精度 NOT_RUN；整体目标仍 INCONCLUSIVE。 六服务原始SSE均已独立复算、owner活服务门禁通过、停止后均确认REAPED_IDLE。六服务输入身份与记录均值交叉核验一致，独立统计与冻结harness assessment精确相同。
实际判定使用JSON未四舍五入的小数。threshold=max(1%,三组最大jitter)。第3组C32的89.3830927940→95.6210311402完整保留；严格请求、metrics、replay核验通过，独立审阅未发现应作废的契约违例/资源异常证据。没有裁剪请求、drain或高波动对。
如实保留的资源差异：p2 parent DP1、p3 candidate DP3自动KV容量185088 tokens，其余DP184960；固定最小容量153600契约满足，控制参数未更改。未做块数控制实验，不声称差异零影响或将其作为波动原因。设备证据为离散健康/温度/功耗/PID快照，不能据此证明全程频率稳定或真实内存峰值。
核心证据（相对本阶段根；受控本地/远端归档，原始请求未公开上传）：
results/calibration-003-assessment.jsonSHA-256cfe1da959a7da8723386d40aa7c99410d99ebfe1f4d66fea66fb80920193d8a1，冻结harness实际执行结果。results/calibration-003-input-check.jsonSHA-256a5e71240248577b29ee851bb3c10a14fa7d85efdd4e0cc2965a45e1d9652dc69，六服务身份/均值/停止证据交叉核验。results/calibration-003-independent-summary.jsonSHA-2561f2dbe77475a0d096f1e3c2c24786b30f9b16546f9d78ed08218ea1af53c3bd7。results/calibration-003-sealed-summary.jsonSHA-256180d33117080721add0a2abd63d6b77c1a2ba3c2a5186c98e08f41d68b90f7a2，含全部原始均值、六份review/seal归档及各gated SHA、执行状态和范围限制。results/calibration-p3-jitter-review.mdSHA-256989636e7caf7285e9b9ae7eea313bea5e271c461cf36048730827261ff747423。后续正式候选使用上述冻结门槛及原直接父子/多数改善/回退约束。现在开始构建独立当前8K诊断采集：先C1/C32 steady，再按数据补混合阶段/尾部；profiling数据只作归因。当前尚未运行新profile或实现性能候选，正式测量工具保持冻结。按先性能后精度规则跳过本基线的GSM8K，历史294/300不冒用为新配置精度。
知识记录
plan/knowledge-hits.md：InferRSI及vllm-ascend优化知识库均未查询；本次使用当前任务源码/证据和当前上游通用profiler API源码（exact 6e448d0，manifest已归档），未读取禁止知识。jiangkuaixue123 commentedon Nov 4, 2026
续轮状态：C1/C32 实机 steady profiling 已完成，两个诊断服务均已回收并确认设备空闲。固定服务配置和已封存 A/A 性能基线未变，四档 ≤25 ms/token 目标仍未通过；新配置 GSM8K-300 仍为 NOT_RUN。
2e40c5ffffa09da0684aed34085bdfd0261f6cad51b896e1cf2d05aec331d3e0；C32：2,317,040 有效行、0 invalid，SHA250823d6fc37148db6b71e921ebb9e7109022a5e1f5f677e9a5adfc5e7975f0b。仅为算子诊断，不是正式 TPOT 或关键路径占比。[24,48]、153600、DSpark5、TP4/DP4/EP16、MC2=1 等全部固定配置。resume-8k1k-20261104/plan/knowledge-hits.md；原生假设记录results/profile8k-c1-steady-001-native-hypotheses.md，SHAa4e115aed87b693f33858a0e3394911da492e1f824c491ffd5acc043a8f61d66。诊断 stop RPC 造成可见请求停顿，因此这些 profiling 波的 TPOT 不进入正式性能比较。下一步先验证候选功能与数值，再依照冻结的四档三组直接父子配对规则执行。整体验收维持 INCONCLUSIVE。
jiangkuaixue123 commentedon Nov 4, 2026
续轮
resume-8k1k-20261104：首个 RMSNorm 候选完成实机 L0，已进入正式直接父子对照，尚未晋级。209143da46618d9d5cc4ffa88213be1a8e4282ff，直接父9be3c22。候选部署清单 SHA-25602d7889fbd4d1056f5f210b9521d719062c1f1be92676ffaa6c82f3e71c25d55。变更仅为符合条件的小批量 BF16 RMSNorm 走融合算子，其他输入保留原路径。results/rmsnorm-full-l0-001/numerics.jsonSHA4850ba0650c89eecd9544a3d3b8c0258af2fb9308bacfcb3dc4e0e1c27d29acb，原始审计results/rmsnorm-full-l0-001-raw-audit.jsonSHA4d3ef7828a920274f7e070457b78a75a0a02bad4e12c65ed82299a5a1433af99。plan/rmsnorm-full-001/compare-001.jsonSHAb274419af3b92b27b973ee5ff2f9a614b7cef90f8588187b4f8f4b3e77654974在发流前冻结；预设目标 C1/C32，四档都测，顺序为父→候选、候选→父、父→候选。第一槽父版本rmsnorm-full-p1-parent-001的 C1/C4/C16/C32 轮均为 39.398498 / 44.475229 / 55.726546 / 86.830535 ms/token，独立复算全部 8 波 106 条请求与原均值一致；服务证据门禁 SHAbf0a00ad8027ff916f673ca7317d63d3bf6f90365ef35c85e712205f2296cc03，已停止并回收为空闲。单个父版本结果不构成收益判定。plan/rmsnorm-full-001/knowledge-hits.mdSHAb47de56a4822aa52871368c980c55bbc603859a50a1f212956363f418bf02e16：InferRSI 与 vllm-ascend 优化知识库均未查询；仅使用本任务当前源码、实机 profiling 与实验产物。精度 NOT_RUN（性能判定未完成）。整体目标未达成，issue 保持打开。57 remaining items
jiangkuaixue123 commentedon Nov 7, 2026
shared-swiglu-table-001 — FINAL：组件淘汰，未保留
直接父版本
codex/dspark-output-graph-001，预设目标 C1/C4/C16。新组合尝试共享专家上投影合并，加上使用原生 FP32 SiLU 表的激活融合，保留 BF16 舍入和原有下投影量化。76 项检查及完整格式检查通过：覆盖全部 BF16 gate 输入（非 NaN 输出逐位比较、NaN 位置比较）、真实原生 W8A8 完整专家、原始权重加载、输入/权重更新后的图回放和预填充。首次发现 limit=0 时原公式关闭截断，已修正为回退原路径并覆盖该边界；保留失败记录，未放宽比较标准。
完整专家就绪耗时（ms；同层权重重复调用，不能代替整机）：
四组全部变慢，组件淘汰。正式性能和 GSM8K 均 NOT_RUN，未启动候选服务，不追加重测。累计组件 57.01 秒，包含首轮失败及修正后的完整检查。实验已带 sign-off 提交并推送
codex/shared-swiglu-table-001，在线源码已在设备租约内恢复为保留父版本。统一保留分支
codex/dsv41-retained不变：C1/C4/C16 31.5660 / 29.4648 / 38.8736 ms/token，GSM8K 294/300。最终三档 25 ms 目标尚未达成。jiangkuaixue123 commentedon Nov 7, 2026
当前保留版 C16 decode 定位 — 进行中
在
codex/dspark-output-graph-001上采集 8192 输入 / 1024 输出、C16 的稳定 decode 约 2 秒片段。最近已加入草稿注意力、上下文和输出图，旧 profile 不足以判断当前瓶颈。沿用已有服务和采集工具，单次必要预热；此次仅作诊断，不产生正式性能判定，不替换既有父参考结果，也不重新验收旧候选。完成后按实际热点选择下一项优化，正式候选仍在同一服务连续完成 R1/R2，性能通过后同服务 GSM8K。统一保留分支不变，25 ms 目标仍未达成。
采集完成：16 条请求均完成 1024 tokens，诊断服务已停止回收。原始数据保存在设备；daemon worker 无法在线解析，已通过 torch_npu 现成离线接口解析 DP0/TP0。该 rank 约 2.187 秒片段内，MoE 平均 342.991 微秒、稀疏注意力 252.598 微秒、目标 all-to-all 202.063 微秒（880 次）。这些是算子统计，不等同于可直接相加的端到端收益。选择新候选 target-woa-before-exchange-001 测试减少交换负载，主目标预设 C16。正式父参考与统一保留分支不变。
细化：202.064 微秒是 all-to-all 的 AICPU 伴随核，实际 HCCL 通信任务平均 26.432 微秒；二者不能混同。本次 C16 目标图实际每 TP rank 为 6 行，目标压缩注意力均值 276.843 微秒、目标 MoE 354.223 微秒。四分之一交换量的收益可能受固定开销限制，候选按完整调用计时决定，不能按字节数推算收益。
jiangkuaixue123 commentedon Nov 7, 2026
target-woa-before-exchange-001 — FINAL：组件数值失败，未保留
直接父版本
codex/dspark-output-graph-001，主目标预设 C16。实验把目标分组 WO_A 移到 TP all-to-all 之前，使用原 BF16 权重，把交换特征宽度从 32768 减为 8192，保留原生 W8A8 下投影与 FP32 reduce-scatter。实际 TP4 HCCL、原检查点加载和原生量化完整输出比较失败：rank 3 的一个 5120 维 BF16 输出有 478 个元素不一致。该结果证明完整管线不满足本轮逐位一致要求，尚未单独归因于某个中间算子。不放宽比较标准；图回放、完整计时、正式服务性能和 GSM8K 均未运行到，不宣称任何性能收益。
累计组件 118.83 秒，含三次测试设置失败（spawn 导入路径、参数加载器 TP 尺寸、量化适配器 TP rank）及最终真实数值失败。生产代码未为通过检查放宽条件。完整格式检查通过，实验已带 sign-off 提交并推送
codex/target-woa-before-exchange-001。未启动候选服务，在线源码已在设备租约内恢复保留父版。同轮完成当前保留版 C16 的短段 profile，16 条 8192/1024 请求完成，诊断服务已回收。在线解析受 daemon 模式限制，原始数据通过现成离线接口解析；DP0/TP0 目标压缩注意力均值 276.843 微秒、目标 MoE 354.223 微秒。all-to-all 的 AICPU 伴随核约 202.064 微秒，实际 HCCL 任务约 26.432 微秒，不能混同。后续优先检查注意力执行热点。诊断记录。
统一保留分支
codex/dsv41-retained不变：C1/C4/C16 31.5660 / 29.4648 / 38.8736 ms/token，GSM8K 294/300。最终三档 25 ms 目标尚未达成。jiangkuaixue123 commentedon Nov 7, 2026
target-gather-fia2-001 — FINAL：保留
目标 decode 改用选中 BF16 KV 的原生 FIA，保留原 FP32 sink，通过返回的 logsumexp 计算归一化。直接父版本
codex/dspark-output-graph-001；预设主目标 C16。正式性能 PASS，固定 GSM8K 293/300 PASS，功能通过。TPOT 单位 ms/token。按既定规则比较父版本两轮中值；各档两轮均为正收益，C16 中值改善超过预设门槛。三档 25 ms/token 最终目标尚未达成。
GSM8K：300 请求成功、0 失败，1 条达到 4096 输出上限。相同服务
target-gather-fia2-s1-20261107-001、PID 152948 连续完成 R1/R2 和精度，第二轮无重启、无重复预热；精度同服务零新增预热。服务已停止、回收，进程已退出。21 项设备/原生检查及完整格式通过。完整 gather、mask、FIA 和 FP32 sink 归一化图 40 次：6 行 10.5823→4.5799 ms，12 行 10.9339→5.6032 ms。数值标准维持测试前声明的 rtol=0.025、atol=0.02。组件累计 40.05 秒，包含 001 测试初始化缺失、002 原生 sink 接口拒绝 FP32，以及 003 完整通过；未放宽标准。正式性能 415.83 秒，精度 478.12 秒，启动加载时间另计。
带 sign-off 提交
perf: use native gathered attention for target decode已推送至实验分支。统一保留分支 codex/dsv41-retained 已快进并推送至本候选，作为后续直接父版本。计划书与本地/设备target_gather_fia2_001实测记录已更新。jiangkuaixue123 commentedon Nov 7, 2026
target-native-sink-001 — FINAL：保留，C4 达标
原始 BF16 sink 由原生 FIA 直接归一化，参数值保持不变；加载器记录源类型，其他类型及重载保持既有 FP32 路径。直接父版本
codex/target-gather-fia2-001，预设主目标 C4。功能、正式性能和固定 GSM8K 全部通过。TPOT 单位 ms/token。性能 PASS。C4 已达到既定两轮中值 ≤25 目标；C1、C16 尚未达到，整个任务仍在继续。 后续遵守已达标档不得丢失的判定规则。
GSM8K 296/300 PASS，300 请求成功、0 失败，2 条达到 4096 输出上限，按固定原生规则评分。服务
target-native-sink-s1-20261107-001、PID192818，同一服务连续完成 R1/R2 和精度，16 个工作进程确认执行新路径；第二轮及精度前均未重启、未重复预热。服务已停止回收，进程已退出。65 项设备/集成/加载检查及完整格式通过。源参数加载、TP 分片和重载资格正确，其他类型回退保持原路径；注意力数值标准维持事先声明的 rtol=0.025、atol=0.02，独立 CPU FP32 与父版本比较通过。完整 gather、mask、native sink attention 图40次：6行4.615860→3.015760 ms，12行5.706860→4.181600 ms。
组件首次运行通过，16.29秒；正式性能 391.86秒；精度 481.71秒，启动加载时间另计。带 sign-off 提交
perf: fuse original BF16 attention sink normalization已推送至实验分支。统一保留分支 codex/dsv41-retained 已快进并推送至本候选。计划书及本地/设备target_native_sink_001记录已更新。jiangkuaixue123 commentedon Nov 7, 2026
target-head-gather-001 — FAIL，未保留
直接父版本
codex/target-native-sink-001，预设 C1/C16。候选用 TP4 all-gather 后截取本 rank 注意力头，后续量化、WO_A、原生 W8A8 WO_B 和 FP32 reduce-scatter 保持原顺序。单位 ms/token。C16 两轮中值回退7.056528%，超过1.633942%门槛，按规则性能 FAIL；C1/C4 的小幅改善不足以抵消，GSM8K NOT_RUN。不追加重跑，不把第二轮单独作为结果。
真实 TP4 所有 rank 的头布局和完整 BF16 输出逐位一致，6/12行及1/64/257回退、输入/权重图回放、CPU/NPU 输出消费者回归通过（3个 pytest 用例）。完整40次调用最慢 rank：6行6.011080→5.871180ms，12行6.286220→6.293800ms；组件改善没有转化为服务收益。
组件39.87秒；性能411.74秒。服务
target-head-gather-s1-20261107-001，PID239453，16个worker执行新路径。同一服务连续两轮，第二轮无重启、无重复预热；已停止回收，设备源码恢复直接父版本。父参考与候选测试时间不同，配置与请求/计时口径沿用冻结协议。完整格式检查通过，带 sign-off 提交
perf: gather target attention heads before output projection已推送实验分支 codex/target-head-gather-001。统一保留分支 codex/dsv41-retained 保持 native-sink-001：C1/C4/C16 30.024799 / 24.983491 / 36.548786，GSM8K 296/300。C4已达到25ms目标，C1/C16仍需优化。
jiangkuaixue123 commentedon Nov 7, 2026
target-kv-before-gather-001 — INCONCLUSIVE，未保留
正式服务未触发候选路径，已中止。本轮无有效完整两轮优化结果，GSM8K NOT_RUN。
原因已确认：实际 checkpoint 的43个 WKV 均为 BF16 [512,5120]，模型配置对跳过量化的线性层使用
AscendUnquantizedLinearMethod；本候选只支持 dynamic W8A8，触发条件不匹配。这是实现前对实际算子类型判断有误。此前24项通过的合成 W8A8 组件及缓存检查不代表真实 WKV 路径，组件小幅收益不能用于本模型晋级。服务
target-kv-before-gather-s1-20261107-001（PID286697）完成6/12行图捕获后，候选执行worker为0；发现后通过所属控制器标准回收流程中止。服务启动11:27:00Z，停止11:33:41Z，生命周期401秒；组件58.55秒。中止时仅有部分R1数据，原件保留，不拼成两轮成绩；回收后等待协调器按服务已消失退出，未运行精度。带 sign-off 的实验提交
perf: project target KV before sequence gathering已推送 codex/target-kv-before-gather-001，完整格式检查通过。设备源码已恢复 native-sink-001，仅清理候选自己的测试文件。统一保留分支 codex/dsv41-retained 保持不变：C1/C4/C16 30.024799 /24.983491 /36.548786 ms/token，GSM8K 296/300。后续按真实 BF16 算子单独验证；不放宽数值要求，不沿用本轮 W8A8 结果。
jiangkuaixue123 commentedon Nov 7, 2026
target-kv-before-gather-002 — 实际 BF16 数值失败，未保留
直接父版本
codex/target-native-sink-001，预设 C1/C16，保护 C4。按实际 BF16 WKV 与AscendUnquantizedLinearMethod，尝试本地投影后再交换。真实 checkpoint 第0层 WKV：6行拆分的四组输入幅度逐位一致；12行零输入一致，但12行、输入幅度0.01时，24,576个BF16输出中有5个不同。触发预先声明的逐位门槛，立即淘汰，未放宽容差。后续完整TP4缓存/图回放、组件计时、正式服务和GSM8K均 NOT_RUN，不启动服务。
首次尝试在数值比较前因独立进程未初始化 AscendConfig 失败。核对正式启动参数使用默认
weight_nz_mode=1（BF16保留ND）后，仅补齐测试配置；第二次得到上述实际数值失败。两次组件总耗时 26.77秒，原始失败均保留。完整格式通过；带 sign-off 提交
perf: project BF16 target KV before sequence gathering已推送实验分支 codex/target-kv-before-gather-002。设备源码已恢复 native-sink-001，仅清理候选测试文件。统一保留分支 codex/dsv41-retained 不变：C1/C4/C16 30.024799 /24.983491 /36.548786 ms/token，GSM8K 296/300。下一方向研究共享专家与路由专家重叠，保留各分支原计算形状和加法顺序。
jiangkuaixue123 commentedon Nov 7, 2026
target-shared-overlap-001 — FINAL：性能 FAIL，未保留
候选 codex/target-shared-overlap-001，直接父版本 native-sink-001；预设 C1/C16，保护 C4≤25ms。复用现有 side stream 执行原共享专家，主流执行原路由 MC2，显式 fork/join；保持各分支矩阵形状、算术与最终FP32加法顺序。
C16 中值回退超过原门槛，性能 FAIL，GSM8K NOT_RUN。 C1/C4改善无法抵消C16失败；没有改目标或追加有利重测。
41项回归、16卡真实EP16/384专家/top6原生 eager/图回放通过；共享分支逐位一致，完整原生输出使用预设 rtol0.005/atol0.001，未放宽。40次完整MoE阶段6行30.364164→28.216505ms，12行35.730179→33.351852ms，组件改善没有通过整模型保留判定。首次旧回归夹具遗漏当前runner必需字段，修正初始化后全部通过，原异常恢复断言保留；累计组件69.04秒（包括失败）。
完整格式通过，提交
perf: overlap target shared and routed experts已带sign-off推送。正式性能407.86秒，21条必要预热、42条正式请求、首次C4健康探针单列。全部16个worker实际执行；一个服务连续R1/R2，第二轮无重启、重复预热或探针。服务
target-shared-overlap-s1-20261107-001（PID342808），2026-11-07 12:14:20–12:25:27 UTC，已停止回收；在线源码恢复native-sink-001。原始两轮记录与失败尝试完整保留。父版与候选测量时间不同，此历史对照限制保留。统一保留分支仍是 codex/dsv41-retained：30.024799 / 24.983491 / 36.548786 ms/token，GSM8K296/300。最终三档≤25ms目标尚未达到，issue保持打开。
jiangkuaixue123 commentedon Nov 7, 2026
target-query-overlap-001 — FINAL：INCONCLUSIVE，未保留
候选 codex/target-query-overlap-001，直接父版本 native-sink-001，预设 C1/C16，保护 C4≤25ms。复用既有 side stream 计算原本地 WQ_A/q_norm/WQ_B，主流完成原 TP gather、全局 WKV/kv_norm，随后汇合；矩阵形状和算术保持。
C16 两轮收益一正一负，判定 INCONCLUSIVE；C1改善也未超过预设门槛。GSM8K NOT_RUN，未保留。 C4改善不用于事后更换预设目标，没有追加有利重测。
100项回归通过、2项适用性跳过；真实TP4、实际checkpoint BF16/W8A8投影、eager/图回放、Q/KV中间结果和缓存逐位检查通过。完整消费者覆盖原decode方法、rotary、原生FIA、all-to-all和WO/reduce-scatter；原生夹具使用可控raw-cache slots，压缩/index分支另由既有回归覆盖。完整原生输出沿用预设rtol0.025/atol0.02，未放宽。40次阶段6行29.142956→26.552431ms，12行37.464157→35.350830ms，不能替代整模型结果。
三次夹具设置失败（线性层TP元数据、参数对象TP元数据、FIA缓存视图接口）均发生在有效比较前，已修正并完整记录。累计组件120.80秒；完整格式通过；提交
perf: overlap target queries with KV preparation已带sign-off推送。正式性能409.84秒，21条必要预热、42条正式请求，首次C4探针单列。全部16个worker、目标层0–39、6/12行实际执行。同一服务连续完成R1/R2，第二轮无重启或重复预热。服务
target-query-overlap-s1-20261107-001（PID394422），2026-11-07T12:47:42Z 至 2026-11-07T12:58:48Z，现已停止回收；在线源码已恢复native-sink-001。父版与候选测量时间不同，保留历史对照限制。统一保留分支仍为 codex/dsv41-retained：30.024799 / 24.983491 / 36.548786 ms/token，GSM8K296/300。最终三档≤25ms尚未达到，issue保持打开。
jiangkuaixue123 commentedon Nov 7, 2026
target-query-overlap-002：性能 PASS、GSM8K PASS，已保留
候选 codex/target-query-overlap-002，直接父版本 native-sink-001。实施前固定 C1/C16 为目标，保护已达标 C4。将原始 Q 投影与旋转放到已有侧流，与主流 TP gather、原始 KV 投影/旋转、缓存写入及压缩准备重叠，在 index/attention 首次消费前等待。算子形状、算术、缓存顺序不变。与 001 的区别是扩大实际重叠区间；001 的 INCONCLUSIVE 保持原判定。
单位 ms/token。按预先固定、未舍入门槛判定，C1/C16 两轮均改善并越过门槛，三档无超限回退，C4 保持 ≤25。性能 PASS；最终三档 ≤25 目标仍未达成。父与候选在不同时间测量，保留历史比较限制。
同一服务
target-query-overlap-s1-20261107-002、PID 438974 连续完成 R1、R2 和固定 GSM8K300；第二轮无重启、重复预热或额外探针。GSM8K 294/300 PASS，300 次请求成功、0 失败，1 条达到 4096 输出上限，按原规则计分，无重试。服务已停止回收，进程已退出。功能：100 项回归通过、2 项既有适用性跳过；真实 TP4/实际 checkpoint 的 BF16 WQA/WKV 和动态 W8A8 WQB、Q/KV/缓存逐位、图回放及完整原生注意力/WO 消费者一次通过。原生夹具使用受控 raw-cache 槽，压缩/index 路径由回归覆盖，不冒称原生夹具覆盖全部 DSA。16 个 worker、40 个目标层、6/12 行实际执行。40 次组件完整阶段：6 行 28.732→26.321 ms，12 行 37.018→33.278 ms，仅为组件计时。
组件 61.56 秒，性能 402.50 秒，精度 463.77 秒。完整格式检查通过，提交带 sign-off，已推送实验分支。统一保留分支 codex/dsv41-retained 已快进并推送至本候选。后续继续优化 C1/C16，同时保护 C4。
jiangkuaixue123 commentedon Nov 7, 2026
当前保留版 C16 decode 定位（002）— 完成
在
codex/target-query-overlap-002上采集 8192/1024、C16 稳态约 2 秒。16 条请求全部完成，16 个 worker 的原始轨迹已保存；诊断服务retained-decode-profile-s1-20261107-002已停止回收。既有 torch_npu 离线接口解析 DP0/TP0 用时 58.59 秒。该 rank 约 2.117 秒、24 个目标步中，目标 EP16 MC2 960 次、均值 346.968 微秒；FIA 912 次、均值 32.026 微秒。三处目标层逐行零值屏蔽共 2880 次，形状 6×5120，均值 18.189 微秒；小选择算子已成为可处理的重复开销。AICPU 伴随核与实际 HCCL 通信分开看，各核时间有重叠，不能相加后当作端到端收益。
据此选择
target-row-mask-001：连续 BF16 行掩码小内核，替代目标注意力输出、MoE 输入和输出三处零值广播选择。预设 C1/C16，保护 C4≤25；先逐位与完整消费者检查，再测服务。本次诊断不改变父参考和正式结果。当前保留版仍为 28.906816 / 24.007038 / 35.191833 ms/token、GSM8K 294/300，最终目标未完成。jiangkuaixue123 commentedon Nov 7, 2026
target-row-mask-001 — 性能 INCONCLUSIVE，未保留
直接父版本 query-overlap-002，实施前固定目标 C1/C16，保护 C4≤25。
单位 ms/token。C1 达到中间收益门槛，C4保持≤25，无超限回退；但预设 C16 两轮收益为 +2.218127% / -0.063870%，一正一负，按冻结规则判定 INCONCLUSIVE。不事后改目标、不追加有利重测。GSM8K NOT_RUN，本候选未保留。
服务
target-row-mask-s1-20261107-001、PID7611 在同一实例连续完成 R1/R2，无中间重启、重复预热或额外探针；16个worker实际执行。性能阶段 382.76秒。服务已停止回收，进程已退出，在线源码已在设备租约内恢复为 query-overlap-002。实验提交已带 sign-off 推送至 codex/target-row-mask-001，统一保留分支保持 codex/dsv41-retained。候选 codex/target-row-mask-001，直接父版本 query-overlap-002；预设 C1/C16，保护 C4≤25。新保留版轨迹显示每目标层三处 6×5120 零值屏蔽约 18.189 微秒/次，故用受限 A3、连续 ND BF16、6/12 行小内核替代注意力输出和 MoE 输入/输出的广播选择。原有计算、路由和通信次序不变，其余场景回退原实现。
首次逐位测试发现 126 个 NaN 位模式差异：原生 SelectV2 将正负 NaN 都规范化为正 0x7fff，直接复制会保留 payload。已依据原算子修正实现，保留失败及诊断记录；逐位标准、样本和容差均未放宽。
146 项回归通过、2 项既有适用性跳过；全部 BF16 位模式、正负零、非有限值和动态 mask 图回放通过。真实 TP4/实际 checkpoint 的注意力消费者检查通过；原生 EP16、384 专家/top6/本地24专家、共享 W8A8、完整图消费者通过。EP16 采用合成原生 W8A8 权重，配对数值比较固定路由，完整计时包含真实 FP32 gate/top-k；沿用原先 rtol0.005/atol0.001，shared 输出和专家计数逐位/精确。
以上为组件耗时，不等同模型 TPOT。复用的 TP4 注意力测试中的计时比较 Q-overlap 模式，不能算作本候选相对父版的屏蔽收益。组件累计 125.71 秒（含首次失败），额外非有限诊断 8.82 秒。完整格式检查通过，提交带 sign-off 并已推送。
当前保留版正式成绩仍为 28.906816 / 24.007038 / 35.191833 ms/token，GSM8K294/300。父/候选跨时间的历史比较限制保持披露。最终C1/C16≤25尚未达成，任务继续；后续只读分析已定位缓存写入准备中的重复选择与归约，尚未实施新候选。
jiangkuaixue123 commentedon Nov 7, 2026
target-cache-prepare-001：INCONCLUSIVE，未保留（已完成）
候选 codex/target-cache-prepare-001，直接父版本
codex/target-query-overlap-002。预先指定 C1/C16，保护已达标 C4。合并 BF16 raw 缓存的槽位/掩码、首个 live slot0 和更新值准备，最终原生写入及布局不变。单位 ms/token，判定使用未舍入值。预设 C16 两轮收益为 −1.182599% / +2.300343%，方向相反，因此 INCONCLUSIVE；GSM8K NOT_RUN，未保留。 C1 改善不覆盖混合方向规则，不事后改目标、不追加有利重测。
target-cache-prepare-s1-20261107-001，PID 57152，2026-11-07 14:33:40–14:44:30 UTC，已停止并回收，进程不存在。组件累计 89.97 秒（含失败），性能 391.78 秒；未精确记录的分析等耗时保持未知。jiangkuaixue123 commentedon Nov 7, 2026
target-index-overlap-001：组件 PASS，已提交推送，正式测试启动
候选 codex/target-index-overlap-001，直接父版本 query-overlap-002；预设 C1/C16，保护 C4≤25ms，目标未变。
将原有 indexer WQB、旋转、E8M0 FP4 查询准备和权重投影放到已有查询侧流，与独立的 raw/压缩缓存准备重叠；评分前汇合。原算术、量化类型、缓存次序及候选块/TopK保持不变。
target-index-overlap-s1-20261107-001，PID 122658，已启动，测量协调器已接入。一次启动、首次C4探针、R1必要预热、R2直接正式测量；PASS后同服务GSM8K300。