技术收藏夹

DeepSeek-V2 提出 Multi-head Latent Attention (MLA) 和 DeepSeekMoE，实现高效推理

DeepSeek-V3 671B 模型技术报告：FP8 训练、Multi-Token Prediction、负载均衡

ICLR 2026：用 Hadamard 旋转 + Lloyd-Max 最优标量量化实现 3-4 bit KV Cache 压缩

SOSP 2024：PagedAttention + vLLM 推理引擎的经典论文

RadicsAttention + 编译器优化驱动的 LLM 推理框架

SGLang v0.4 技术报告：RadixAttention + Tree Attention + 编译器优化

NeurIPS 2022：IO-aware 的精确注意力计算，tiling 和 recomputation 策略

改进的 work partitioning 和并行策略，2× 加速

高性能 LLM 推理引擎，支持 PagedAttention、Continuous Batching、多种量化

结构化 LLM 程序执行引擎，RadixAttention + 编译器优化

C/C++ 实现的 LLM 推理，GGUF 格式支持，广泛用于边缘设备

NVIDIA 的 LLM 推理优化平台，支持 FP8/INT4/INT8 量化

PyTorch 官方量化/剪枝/稀疏化库，支持 INT4/INT8/FP8 量化

CUDA 官方文档，CUDA C++ Programming Guide 是必读

CUDA kernel 性能分析器，roofline 分析、occupancy 分析等

开源 LLM 排行榜，跟踪各模型在 MMLU/GSM8K/HumanEval 上的表现

PyTorch 团队关于 LLM 推理性能优化的综合指南

SpinQuant / QuIP# 等工作中发现的 LLM 中有少数权重对量化特别敏感

ICML 2024：通过平滑 activation 中的 outlier 实现 W8A8 量化

MLSys 2024：基于 activation 分布选择重要权重的 INT4 量化

逐块量化的新范式，在保持精度的前提下实现更高的压缩比

Hopper 架构白皮书：FP8 Tensor Core、Transformer Engine、DPX 指令

NVIDIA 的分布式训练框架：Tensor Parallelism、Pipeline Parallelism、序列并行

DeepSeek MLA

Needle

WeKnora