掘金· 嘎嘎风·· 5 小时前AI 评分22
MiniMind 学习笔记之 04：注意力之外的 RoPE、KV Cache、GQA 与 FFN
MiniMind 学习笔记之 04 注意力之外：位置、记忆、省显存、省时间、深加工
AI 导读
MiniMind 学习笔记第 04 篇拆解了 Transformer 块中注意力之外的六块组件：RoPE 旋转位置编码、Flash Attention、KV Cache、GQA、FFN 以及残差与 RMSNorm。
来源：掘金 · juejin.cn
MiniMind 学习笔记之 04：注意力之外的 RoPE、KV Cache、GQA 与 FFN