https://beaiera.top/tags/sliding-window/Recent content in Sliding Window on Richelieu's BlogHugozh-cnFri, 05 Jun 2026 12:00:00 +0800https://beaiera.top/posts/vllm-deepseek-v4-attention-sink-swa/Fri, 05 Jun 2026 12:00:00 +0800https://beaiera.top/posts/vllm-deepseek-v4-attention-sink-swa/<h2 id="概述">概述</h2> <p>本文围绕 vLLM 推理引擎中的两个关键注意力机制展开深入分析：<strong>Attention Sink</strong>（注意力沉没）和 <strong>Sliding Window Attention</strong>（滑动窗口注意力，SWA）。内容涵盖它们的设计原理、vLLM 中的代码实现、KV cache 管理流程，以及 DeepSeek V4 模型如何运用这些技术。</p> <p>所有分析基于 vLLM 代码库中 DeepSeek V4 相关的实现。</p>