https://beaiera.top/tags/%E6%80%A7%E8%83%BD%E4%BC%98%E5%8C%96/Recent content in 性能优化 on Richelieu's BlogHugozh-cnTue, 02 Jun 2026 00:00:00 +0800https://beaiera.top/posts/2026-06-02-vllm-pcp-dcp-tech-notes/Tue, 02 Jun 2026 00:00:00 +0800https://beaiera.top/posts/2026-06-02-vllm-pcp-dcp-tech-notes/<h2 id="背景">背景</h2> <p>vLLM 中引入了两个上下文并行维度——Prefill Context Parallel (PCP) 和 Decode Context Parallel (DCP)。本文是源码分析记录，覆盖配置入口、进程组初始化、通信模式、KV cache 布局、LSE 合并机制、各 attention backend 支持情况，以及一些数学推导。</p>https://beaiera.top/posts/2026-06-02-vllm-sp-asynctp-quant-tech-notes/Tue, 02 Jun 2026 00:00:00 +0800https://beaiera.top/posts/2026-06-02-vllm-sp-asynctp-quant-tech-notes/<h2 id="背景">背景</h2> <p>vLLM 中实现了多种并行策略与编译优化。本文聚焦三条密切关联的技术线：<strong>Sequence Parallelism (SP)</strong>、<strong>Async Tensor Parallelism (AsyncTP)</strong> 与 <strong>量化 (Quantization)</strong> 的协同工作方式，涵盖概念辨析、GEMM-通信融合原理、量化感知改写以及配置细节。</p>https://beaiera.top/posts/2026-06-02-vllm-compilation-system/Tue, 02 Jun 2026 00:00:00 +0800https://beaiera.top/posts/2026-06-02-vllm-compilation-system/<p>vLLM 的编译系统在标准 PyTorch <code>torch.compile</code> 之上做了大量定制：分段编译（Piecewise Compilation）、字节码 Hook、AOT 缓存、动态形状管 理等。本文从多个实际调试问题出发，系统梳理 vLLM 编译系统的核心机制。</p>