Flash-SD 是一个创新的推测解码框架,旨在打破推理速度、生成质量和验证开销之间的“不可能三角”。与依赖静态阈值或昂贵的 Embedding 验证的现有方法不同,Flash-SD 引入了 熵制导轨迹对齐 (Entropy-Regulated Trajectory Alignment) 技术。
通过利用 目标模型的熵 (Target Model's Entropy) 作为语境探针,并结合 并行前瞻锚点 (Parallel Lookahead Anchoring),Flash-SD 在实现弹性语义容忍的同时,保持了
Flash-SD 解决了现有推测解码 (SD) 研究中的三个关键痛点:
解决“静态僵化 (Static Rigidity)”问题
- Flash-SD 方案: 我们利用 目标模型的熵 来动态调节验证阈值。高熵(不确定性高)意味着更宽的语义容忍度,而低熵则强制执行严格匹配。由“老师”(目标模型)制定规则,而非“学生”(草稿模型)。
解决“验证税负 (Verification Tax)”问题
- Flash-SD 方案: 我们证明了 Logit 空间投影 是语义对齐的充分代理。Flash-SD 仅使用纯标量运算($O(1)$)进行验证,彻底消除了向量运算和外部模型依赖。
解决“局部短视 (Local Myopia)”问题
-
Flash-SD 方案: 利用 SD 的并行特性,我们“偷看”了
$t+1$ 时刻的置信度。如果目标模型对基于当前偏差生成的未来 Token 充满信心,我们就“救回”当前 Token。用未来的确定性来验证当下的偏差。