https://beaiera.top/tags/%E7%AE%97%E5%AD%90/Recent content in 算子 on Richelieu's BlogHugozh-cnMon, 01 Jun 2026 11:00:00 +0800https://beaiera.top/posts/mhc-preact-torch-math/Mon, 01 Jun 2026 11:00:00 +0800https://beaiera.top/posts/mhc-preact-torch-math/<h2 id="背景">背景</h2> <p>mHC（multi-Head Combinatorial）是 DeepSeek V4 模型中引入的一种<strong>多头残差混合机制</strong>。它将传统 Transformer 中单一的残差向量扩展为 $M$ 个并行的残差副本（multi-head residual），并在每个 block 前后通过可学习的门控和组合矩阵对多头残差进行变换。</p> <p>本文以 <code>mhc_pre_torch</code> 为核心，从数学公式出发逐行对照 PyTorch 代码，并延伸至 <code>mhc_post_torch</code> 和整个 mHC 流水线，帮助读者完整理解这一算子的设计思路与实现细节。</p>