本导引介绍 Chronos 的核心机制与阅读路线。详细公式、配置条件和实验来源见对应英文专题章节。
| 机制 | 复用或减少的对象 | 需要单独检查的条件 |
|---|---|---|
| 循环深度 | 重复调用同一物理块的参数 | 状态仍会变化;步长约束不等于收敛证明 |
| shared_first | 循环内部复用 writer 形成的注意力 KV 视图 | 后续查询仍重新计算;持久缓存与当前 forward 的临时视图不同 |
| 稀疏专家 | 支持稀疏派发时,仅计算选中的路由专家 | 全部专家参数仍需存储;MLX masked-dense 参考路径会先计算全部路由专家;存在共享专家时,其分支始终执行并取均值 |
| 专家驻留 | 复用已加载的专家权重 | 受缓存预算、预测误差、缺页策略和后端加载行为影响 |
flowchart LR
A["重复物理块参数"] --> X["循环计算"]
B["复用注意力 KV"] --> Y["缓存策略"]
C["稀疏执行专家"] --> Z["路由计算"]
D["复用已加载权重"] --> W["驻留与预取"]
X --> R["组合成一次前向执行"]
Y --> R
Z --> R
W --> R
建议先读 OVERVIEW 和 KERNEL_ARCHITECTURE,再用 SYMBOLS 核对张量轴。不要把“未来 token”轴误读为“下一层”轴,也不要把循环迭代当成新的物理参数层。
文档区分三种内容:代码正在执行的机制、在特定假设下成立的数学结论,以及已有实验记录支持的结果。
flowchart TD
Q["一个结论"] --> I["实现:从源码追踪"]
Q --> T["理论:写清假设并推导"]
Q --> E["实验:核对数据和比较口径"]
I --> C["保留可验证的表述"]
T --> C
E --> C
例如,更新可以写成
这里的减法使用未加条件向量的
训练侧的分区是固定的专家 ID 分组。局部性目标改变路由概率,使同一流更集中、不同流保持多样性。离线共激活图聚类则是另一条可选布局路径。
这些机制不表示专家权重向量在高维空间里自行移动。示意图中的位置与颜色也不是 t-SNE 或 UMAP 实测数据。深入阅读 MOE_ROUTING、CLUSTER_LOCALITY 和 LOOKAHEAD。
on_demand 的冷缺页可能在当前派发中使用 shared fallback。sync_on_demand 则等待准确专家加载。前者需要测量近似误差;后者仍需验证缓存和执行数值是否与全驻留路径一致。
Torch 可以在读取前筛选页。当前 MLX 聚落路径可能先物化整簇再做受限缓存准入。因此,缓存容量上限不自动等于进程瞬时内存上限。具体条件见 LAZY_EXPERTS 与 RESIDENCY。
相同步数、相同训练时间、相同 token 数与相同计算预算,不是同一比较。单个提示词速度的平均值,也不等于总 token 数除以总时长。
Residency 基准中的 verify_ready_rate 是 planner 参考集合的热驻留比例,不是草稿 token 接受率。没有 planner 时的零值应视为未记录。相关图区分了这些口径,详见 SPEC_DECODE 与 REPRODUCIBILITY。
Markdown 正文包含 Mermaid 源码与数学公式。流程图的 SVG 副本位于 assets/mermaid/。矢量图可单独打开并放大;定量图的读数以原尺寸图片、矢量文件和对应 JSON 为准。
已有证据仍有边界:部分实验只有单一种子,部分长上下文测试只有少量训练步骤,若干单层内存数据缺原始测量记录。文档把这些列为需要补充的验证,不将它们改写为新结论。