现代Transformer精读-00：导读与系列地图
系列概述：MiniMind 是什么、为什么选它精读、系列地图、阅读顺序与前置知识
阅读全文
#深度学习
共 5 篇文章
现代Transformer精读-04：稀疏MoE路由与负载均衡
MOEFeedForward 逐行精读：路由、top-k、norm_topk_prob、辅助负载均衡损失与 198M-A64M 算账
阅读全文
现代Transformer精读-02：RoPE位置编码与YaRN外推
从绝对位置编码到旋转位置编码：RoPE 的数学、代码实现与 YaRN 长文本外推
阅读全文
现代Transformer精读-03：自注意力机制精读
Attention 类逐行精读：GQA、QK-Norm、因果掩码、Flash Attention 与 KV Cache
阅读全文
现代Transformer精读-01：模型骨架与前向回路
从残差流看 MiniMind 模型骨架：Config、RMSNorm、SwiGLU、tie 权重与自回归损失
阅读全文