大模型的"多线程大脑"：混合专家（MoE）稀疏架构原理
为什么 DeepSeek-V3 有 671B 参数却只激活 37B？混合专家（MoE）如何用"高参数、低计算"打破参数量与推理成本的正比关系？从 1991 年的分治思想、Noisy Top-K 门控、Switch Transformer 的 Top-1 极简，到 DeepSeek 的细粒度专家与无辅助损失路由，本文拆解 MoE 的路由机制、负载均衡挑战与部署代价。
#技术原理
收录标记为「技术原理」的文章。
当前筛选已生效清除筛选
找到 4 篇文章 · 第 1 / 1 页
扩散语言模型：让大模型从"逐字打字"变成"整段雕刻"
自回归模型为什么慢？扩散语言模型如何把生成从"逐字串行"改成"整段并行"？2026 年 8 月，谷歌 DeepMind 的 DiffusionGemma 用两阶段微调把 Gemma 4 改造成扩散模型，单张 H100 每秒生成约 1500 词；人大高瓴与蚂蚁集团的 LLaDA MoE v2 则首次系统刻画了扩散模型的扩展定律。本文拆解掩码去噪、多项式扩散、双向注意力与两阶段训练的底层机制，并对比两条规模化路线的取舍。
让大模型"先猜后验"：投机解码原理与四代演进
自回归解码为什么慢？投机解码如何用"草稿-验证"把一次前向从产出 1 个 token 变成 3 到 6 个？从经典小模型草稿、Medusa 多头、EAGLE 特征级自回归，到 MoE 时代的专家散射问题与 2026 年的半自回归新方向，本文按技术代际拆解投机解码的底层机制与收益边界。
显存里的隐形巨兽：KV Cache 优化技术全景拆解
为什么 100 万 token 上下文的推理常常"显存先于算力告急"？从 MQA/GQA 的注意力头共享，到 DeepSeek MLA 的潜空间压缩，再到 PagedAttention 的分页管理与 KIVI 的低比特量化，本文按四条技术路线拆解 KV Cache 这一长上下文时代最硬的瓶颈。