让 Transformer 自己排层序：Library of Layers 论文精读
11 月 2 日提交的 Library of Layers 让路由器在推理时从层库里挑选并排序 transformer 块，用一个库大小参数同时覆盖稠密、循环深度与稀疏 MoE 三种形态。本文拆解它的架构、因果性难题、窗口注意力设计与实验证据。
#MoE
收录标记为「MoE」的文章。
当前筛选已生效清除筛选
找到 4 篇文章 · 第 1 / 1 页
十月开源大模型竞速：欧美三连发对标中国，效率取代参数成为新标尺
2026 年 10 月，欧美实验室四天内接连发布 Kolibri、Beam、Mistral Large 4 三款开源模型，并把标尺对准中国开源阵营；Meta 随后开源 816B 的 Muse Spark Open，月之暗面发布 3 万亿参数级 Kimi K3.1 Pro。本文盘点十月开源模型发布，拆解"激活参数"取代"总参数"的效率竞赛，并讨论闭源与开源差距收窄对选型的影响。
96% 的含义：一颗 29B 全栈国产训练模型拆开看
中国电信开源星辰 Xing4.0-29B-A4B——29B 总参数、每 token 激活 4B、原生 256K 上下文，全程在昇腾 910C 与 MindSpore 上训练。为什么"训练吞吐提升约 96%"这个内部对比数字，比九项跑分更值得拆解？本文从规格、架构、训练栈、基准口径和边界五个角度，拆开这颗国产训练样本。
大模型的"多线程大脑"：混合专家（MoE）稀疏架构原理
为什么 DeepSeek-V3 有 671B 参数却只激活 37B？混合专家（MoE）如何用"高参数、低计算"打破参数量与推理成本的正比关系？从 1991 年的分治思想、Noisy Top-K 门控、Switch Transformer 的 Top-1 极简，到 DeepSeek 的细粒度专家与无辅助损失路由，本文拆解 MoE 的路由机制、负载均衡挑战与部署代价。