Skip to content
Li-changwuPublic

About

Flash-SD:无需训练、即插即用的零开销语义推测解码框架,基于目标模型熵制导轨迹对齐与并行前瞻锚定实现 O(1) 标量级验证加速

Topics

Resources

Stars

0 stars

Watchers

0 watching

Forks

Latest commit

 

History

5 Commits

Folders and files

NameName
Last commit message
Last commit date
 
 
 
 
 
 
 
 

Repository files navigation

⚡ Flash-SD: 零开销语义推测解码 (Zero-Overhead Semantic Speculative Decoding)

License: MIT Python Framework

无需训练 (Training-Free) | 即插即用 (Plug-and-Play) | 语境感知 (Context-Aware) | 零开销 (Zero-Overhead)

📖 摘要 (Abstract)

Flash-SD 是一个创新的推测解码框架,旨在打破推理速度、生成质量和验证开销之间的“不可能三角”。与依赖静态阈值或昂贵的 Embedding 验证的现有方法不同,Flash-SD 引入了 熵制导轨迹对齐 (Entropy-Regulated Trajectory Alignment) 技术。

通过利用 目标模型的熵 (Target Model's Entropy) 作为语境探针,并结合 并行前瞻锚点 (Parallel Lookahead Anchoring),Flash-SD 在实现弹性语义容忍的同时,保持了 $O(1)$ 的标量级验证开销。这使得 Flash-SD 能够在不牺牲语义连贯性的前提下,显著提升端到端的推理速度。


🚀 核心创新:三大支柱 (The "Three Pillars")

Flash-SD 解决了现有推测解码 (SD) 研究中的三个关键痛点:

1. 熵制导的弹性容忍 (目标端权威)

解决“静态僵化 (Static Rigidity)”问题

  • Flash-SD 方案: 我们利用 目标模型的熵 来动态调节验证阈值。高熵(不确定性高)意味着更宽的语义容忍度,而低熵则强制执行严格匹配。由“老师”(目标模型)制定规则,而非“学生”(草稿模型)。

2. 零开销 Logit 投影校验

解决“验证税负 (Verification Tax)”问题

  • Flash-SD 方案: 我们证明了 Logit 空间投影 是语义对齐的充分代理。Flash-SD 仅使用纯标量运算($O(1)$)进行验证,彻底消除了向量运算和外部模型依赖。

3. 并行轨迹锚定 (前瞻机制)

解决“局部短视 (Local Myopia)”问题

  • Flash-SD 方案: 利用 SD 的并行特性,我们“偷看”了 $t+1$ 时刻的置信度。如果目标模型对基于当前偏差生成的未来 Token 充满信心,我们就“救回”当前 Token。用未来的确定性来验证当下的偏差。

About

Flash-SD:无需训练、即插即用的零开销语义推测解码框架,基于目标模型熵制导轨迹对齐与并行前瞻锚定实现 O(1) 标量级验证加速

Topics

Resources

Stars

0 stars

Watchers

0 watching

Forks

Releases

Packages

Contributors

Languages