SpecRoll 精读

问题与两时间尺度适应

RL/GRPO中target policy持续更新，静态future-token heads很快stale，每步重训又抵消rollout加速。SpecRoll的快路径 Reflex读取延迟到达的verifier反馈，对当前trajectory局部hidden做有界修正，不反传、不永久改参数；慢路径只有持续接受退化越过阈值时才更新heads，把短时噪声与长期policy drift分开。

proposal用轻量future heads并行成稀疏树；并发高时收缩tree/预算，target exact verification。论文从 target/draft分布重叠构造 conservative local acceptance surrogate，Reflex沿能提升该surrogate的方向修hidden且范数受限；慢更新合并积累误差。因为所有候选仍由当前target residual验证，rollout sample distribution与GRPO objective不变。

1.5B–14B、三个math数据、15设置：相对vanilla GRPO generation 1.26–2.15×、end-to-end 1.21–2.04×；相对FastGRPO所有matched设置都快，pairwise端到端均值1.18×。end-to-end包含训练/优化，故小于纯generation。消融快路径立即恢复、慢路径长期稳定均必要。

局限是仅math/GRPO、反馈延迟和阈值超参、Reflex局部修正可能随大policy jump失效、distributed rollout通信。复现需固定policy update cadence、tree/concurrency、触发次数和head训练成本，并用policy logprob统计验证无分布漂移。原文第 3–7 页方法，第 8–13 页实验，第 14–23 页证明/补充。

两时间尺度状态与正确性

快状态应绑定到当前 trajectory/request：verifier 反馈到达后，只修正后续 proposal 使用的局部 hidden，并受范数和生命周期限制；episode 结束即清除，不能悄悄变成共享参数更新。慢状态才累积跨 batch 的接受退化，在触发阈值后优化 future heads，并记录 policy checkpoint 版本。异步系统必须给每条反馈附 policy/head version，过期反馈若直接应用会把错误方向注入新模型。

分布保持来自当前 policy 对所有提交 token 的严格校正，而不是 Reflex surrogate 本身。复现应对 rollout 保存 target logprob、proposal logprob、接受决策和 GRPO importance 信息，比较普通 rollout 的奖励/长度/首 token 分布；同时把 head 更新、通信和阻塞时间计入 end-to-end。压力测试包括 policy 突然大步更新、反馈乱序、低接受持续漂移和高 concurrency。若快修正在这些场景只提高 surrogate 而不提高真实 overlap，控制器必须限幅、回滚或暂时关闭 speculation。