SpecExtend 精读

核心思想

SpecExtend给现有独立drafter做训练免费长上下文增强：prefill用FlashAttention，target tree verify用Hybrid Tree Attention；更关键的 Cross-model Retrieval（CMR）利用 target上一轮最后层 attention score，按chunk选 top-k上下文，只让小draft cache保留这些KV。既降低draft读，又让有限容量对准target认为重要的证据。

target绝大多数层仍用无显式score的高效kernel，最后一层改标准attention取分数；按locality可隔若干轮更新。Needle诊断中160M draft：full KV accuracy .081，StreamingLLM .166，CMR .823；TriForce用7B self-draft .976但贵。CMR说明“小模型看完整长上下文”可能因容量/噪声反而差。

16K summarization最高 2.84×，long reasoning 3.86×，并保持短输入EAGLE-3等表现。相对naive AR的倍数包含attention kernel升级，需消融 CMR与kernel；最后层显式score、chunk gather和cache更新是额外开销。

完整target仍verify，故proposal cache裁剪不改输出。复现锁定chunk、K、更新stride、target layer/head聚合、position ids；报告hard/easy token接受与natural divergence。局限是attention score不等于因果重要性、last layer/head偏差、跨模型KV token位置虽同但表示不共享；训练免费仍需target attention暴露。原文第 3–5 页方法，第 5–9 页结果，第 10–12 页补充。

CMR 数据流与必要消融

target 上一轮最后层输出 attention score 后，先按 head 聚合，再对 chunk 内位置归约并选 top-k chunk；draft 只 gather 自己对应位置的 KV，而不是复用 target 的 K/V 张量。被选位置仍携带原始 position id，并与局部最近窗口/特殊 token 的保留策略去重。更新间隔内可复用索引，但一旦请求长度、检索命中或接受率越过阈值应重选；拒绝只截断新增 draft cache，不得删除完整 target cache。

最小实验矩阵应包含 full-KV draft、固定 recent window、随机 chunk、由 draft 自身选 chunk、CMR，以及相同 Hybrid Tree Attention 下的这些配置。除平均接受长，还要给 needle 位置分桶、检索 recall、gather 字节数、显式 attention-score 开销和 TPOT。论文结果支持 target attention 是有用的跨模型位置信号，却不等于 last-layer score 是最优因果检索器；在多跳证据、分散事实或 attention sink 主导时，top-k chunk 可能漏掉真正决定后续 token 的位置。