现代Transformer精读-00：导读与系列地图
系列概述：MiniMind 是什么、为什么选它精读、系列地图、阅读顺序与前置知识
阅读全文
置顶推荐
最新文章
查看全部复变函数与积分变换笔记
复变函数与积分变换课程笔记：复数与解析函数、复变积分、级数与留数、共形映射、傅里叶变换与拉普拉斯变换
阅读全文
现代Transformer精读-04：稀疏MoE路由与负载均衡
MOEFeedForward 逐行精读：路由、top-k、norm_topk_prob、辅助负载均衡损失与 198M-A64M 算账
阅读全文
现代Transformer精读-02：RoPE位置编码与YaRN外推
从绝对位置编码到旋转位置编码：RoPE 的数学、代码实现与 YaRN 长文本外推
阅读全文
现代Transformer精读-03：自注意力机制精读
Attention 类逐行精读：GQA、QK-Norm、因果掩码、Flash Attention 与 KV Cache
阅读全文
现代Transformer精读-01：模型骨架与前向回路
从残差流看 MiniMind 模型骨架：Config、RMSNorm、SwiGLU、tie 权重与自回归损失
阅读全文
去噪扩散概率模型DDPM笔记
去噪扩散概率模型DDPM笔记
阅读全文