扩散语言模型：让大模型从"逐字打字"变成"整段雕刻"
自回归模型为什么慢？扩散语言模型如何把生成从"逐字串行"改成"整段并行"？2026 年 8 月，谷歌 DeepMind 的 DiffusionGemma 用两阶段微调把 Gemma 4 改造成扩散模型，单张 H100 每秒生成约 1500 词；人大高瓴与蚂蚁集团的 LLaDA MoE v2 则首次系统刻画了扩散模型的扩展定律。本文拆解掩码去噪、多项式扩散、双向注意力与两阶段训练的底层机制，并对比两条规模化路线的取舍。
#推理优化
收录标记为「推理优化」的文章。
当前筛选已生效清除筛选
找到 3 篇文章 · 第 1 / 1 页
让大模型"先猜后验"：投机解码原理与四代演进
自回归解码为什么慢？投机解码如何用"草稿-验证"把一次前向从产出 1 个 token 变成 3 到 6 个？从经典小模型草稿、Medusa 多头、EAGLE 特征级自回归，到 MoE 时代的专家散射问题与 2026 年的半自回归新方向，本文按技术代际拆解投机解码的底层机制与收益边界。
显存里的隐形巨兽：KV Cache 优化技术全景拆解
为什么 100 万 token 上下文的推理常常"显存先于算力告急"？从 MQA/GQA 的注意力头共享，到 DeepSeek MLA 的潜空间压缩，再到 PagedAttention 的分页管理与 KIVI 的低比特量化，本文按四条技术路线拆解 KV Cache 这一长上下文时代最硬的瓶颈。