Speculative Decoding 研究知识库
把论文森林变成一张可比较、可复现、可以直接选题的研究地图。
66 篇核心精读 · 1,188 页全文核读 · 6 条研究主线 · 最新检索至 2026-08-26
[!NOTE] 66 篇核心精读快照截止 2026-08-10；2026-08-26 增量更新另核验 20 份 arXiv PDF、补出 4 个正式来源方法。增量项尚未冒充逐页精读完成。每个核心条目均记录已读版本、页码范围与 PDF SHA-256；原始 PDF 因版权不进入仓库。
这个知识库面向准备进入 speculative decoding 研究的读者。目标不是复述摘要，而是把每篇论文的问题、假设、算法、公式、训练与推理流程、正确性边界、实验、实现路径、复现风险、局限和可继续研究的问题压缩进一个可独立阅读的中文文件。
从哪里开始¶
- 第一次进入方向：先看 方法谱系与分类，再读基础类别中的两篇 2023 年 speculative sampling 奠基论文。
- 准备做算法：看 跨论文比较与研究问题 和 研究空白 shortlist。
- 准备做系统：重点读第 05/06 类、DSpark、DFlash、SPEED-Bench 和 Performance or Illusion?。
- 核对 lossless/lossy：先看 术语与正确性边界，再看 Block Verification、MARS、Revisiting Lossy Verification 与 ASD。
- 查最新进展：先看 截至 2026-08-26 的增量核验 和 25 条结构化增量记录，再看 截至 2026-08-10 的完整方向综述。1,260 条高召回候选表 只是旧快照检索候选，不等于核心论文或已完成精读。
阅读状态与证据边界¶
本 README 只列出 deep_read_complete 条目。原始 PDF 与抽取文本用于本地核读，因版权不进入仓库；公开文件保留官方入口、版本、页码和哈希。速度数字均按原论文硬件、batch、temperature、backend和baseline解释，不把最高 endpoint 当作普遍结论。详见 调研与精读方法 和 来源清单。
核心论文目录¶
01 基础、理论与综述（9 篇）¶
| 年份 | 论文 | Venue |
|---|---|---|
| 2018 | Blockwise Parallel Decoding for Deep Autoregressive Models | NeurIPS 2018 |
| 2022 | Speculative Decoding: Exploiting Speculative Execution for Accelerating Seq2seq Generation | arXiv / ICLR 2023 submission |
| 2023 | Accelerating Large Language Model Decoding with Speculative Sampling | arXiv technical report |
| 2023 | Fast Inference from Transformers via Speculative Decoding | ICML 2023 |
| 2023 | SpecTr: Fast Speculative Decoding via Optimal Transport | NeurIPS 2023 |
| 2024 | Unlocking Efficiency in Large Language Model Inference: A Comprehensive Survey of Speculative Decoding | Findings of ACL 2024 |
| 2025 | Decoding Speculative Decoding | NAACL 2025 |
| 2026 | Global Resolution: Optimal Multi-Draft Speculative Sampling via Convex Minimization | ICLR 2026 Oral |
| 2026 | When Is a Draft Accepted? A Theory of Acceptance in Speculative Decoding | arXiv preprint |
02 独立 drafter、对齐与在线选择（7 篇）¶
| 年份 | 论文 | Venue |
|---|---|---|
| 2023 | Accelerating LLM Inference with Staged Speculative Decoding | ICML 2023 workshop / arXiv |
| 2023 | Speculative Decoding with Big Little Decoder | NeurIPS 2023 |
| 2024 | DistillSpec: Improving Speculative Decoding via Knowledge Distillation | ICLR 2024 |
| 2024 | Online Speculative Decoding | ICML 2024 |
| 2025 | Learning Harmonized Representations for Speculative Sampling | ICLR 2025 |
| 2026 | Not-a-Bandit: Provably No-Regret Drafter Selection in Speculative Decoding for LLMs | ICLR 2026 |
| 2026 | Speculative Decoding and the Curse of Multilinguality | arXiv preprint |
03 Feature head、MTP 与并行块草稿（20 篇）¶
04 Tree、多候选与 verification（9 篇）¶
| 年份 | 论文 | Venue |
|---|---|---|
| 2023 | SpecInfer: Accelerating Large Language Model Serving with Tree-based Speculative Inference and Verification | ASPLOS 2024 |
| 2024 | Multi-Candidate Speculative Decoding | arXiv preprint |
| 2024 | SEQUOIA: Scalable and Robust Speculative Decoding | arXiv preprint |
| 2024 | SpecExec: Massively Parallel Speculative Decoding for Interactive LLM Inference on Consumer Devices | arXiv preprint |
| 2025 | Block Verification Accelerates Speculative Decoding | ICLR 2025 |
| 2025 | HeteroSpec: Leveraging Contextual Heterogeneity for Efficient Speculative Decoding | arXiv preprint |
| 2026 | Approximate Speculative Decoding | arXiv preprint |
| 2026 | MARS: Unleashing the Power of Speculative Decoding via Margin-Aware Verification | arXiv preprint |
| 2026 | Revisiting Lossy Verification in Speculative Decoding: Mechanisms, Trade-offs, and Failure Modes | arXiv preprint |
05 Training-free、自推测与长上下文（10 篇）¶
06 Serving、基准、安全与应用（11 篇）¶
仓库结构¶
papers/ 66 篇逐篇精读，按研究问题分为 6 类
collections/ 6 个专题入口与推荐阅读路线
landscape/ 全方向综述、研究空白与候选问题
metadata/ 核心语料元数据与高召回候选表
assets/ 文档站视觉样式、图标与横幅
scripts/ 语料构建、阅读证据包与质量审计脚本
维护原则¶
- 论文是否“无损”以输出序列/分布的数学保证为准，不以任务分数近似不变代替。
- acceptance length、wall-clock speedup、throughput 与 goodput 分开记录。
- 跨论文比较先统一硬件、engine、batch、上下文、输出长度、temperature、tree/block budget 与 baseline。
- 新论文先进入候选表，经人工相关性筛选和全文精读后才进入核心目录。
- 当前快照日期之后出现的论文不被暗示为已覆盖。