异度部落格

本文介绍了结构化生成（Structured Outputs）和受限解码（Constrained Decoding）技术，重点探讨如何通过约束规则确保大语言模型（LLM）生成符合预定格式的输出。文章分析了几种常见的受限解码实现方法，包括有限状态机（FSM）、交错解码（Interleaved Decoding） 、压缩有限状态机跳跃式解码方法（Jump-Forward Decoding With a Compressed Finite State Machine）和基于上下文无关语法（CFG）的解码。

KV Cache 压缩技术是优化 LLM 推理性能的关键方向，主要分为**稀疏化**和**量化**两类。稀疏化通过选取关键 token 减少存储需求，而量化通过降低数据精度压缩 KV Cache 空间。

Chunked Prefills 是一种优化大型语言模型推理 Prefill 阶段的技术，通过将 Prefill 请求分块并与 Decode 请求组合成批次，提升 GPU 资源利用率和推理吞吐量。该方法基于合理的分块大小与动态调度策略，兼顾了计算效率与一致性需求，显著改善了推理性能。

投机解码（Speculative Decoding）是一种通过引入小型的 Draft Model 来加速大型语言模型（LLM）推理的技术。它通过先预测后验证的方式，实现了验证过程的并行执行，从而显著提高解码速度。该方法能够在保证解码质量的同时，提升推理效率，是加速 LLM 推理的有效方案。

Prefix Caching 是一种推理优化方法，通过缓存历史对话中的 KV Cache 来提升多轮对话中的首次 Token 计算效率。文章介绍了在 SGLang、vLLM 和 Deepseek 等大型模型推理系统中如何实现 Prefix Caching。

Continuous Batching（持续批处理）是一种动态调度请求的推理方法，旨在提高大规模语言模型（LLM）推理的效率。与静态批处理不同，它通过在每次迭代中动态调整批次大小，最大化GPU资源利用率，减少计算浪费。这种方法能够显著提高吞吐量并降低延迟，是LLM推理中的优化标准。

AutoGen 是一个开源框架，用于构建自主协作的 AI Agent 应用，支持事件驱动、分布式和弹性架构。通过 Actor 模型和层次化的 API 设计，AutoGen 简化了多智能体系统的开发，提供了高效的通信和任务管理机制。它的分层结构使得开发者可以灵活选择底层或高层接口，满足不同复杂度的需求。

Prefill-Decode 分离式架构将大模型推理的 Prefill 和 Decode 阶段拆分到不同的 GPU 上独立运行，以优化计算密集型和存储密集型任务的资源利用率。实验表明，该架构能显著降低首 token 延迟（TTFT）并提升整体吞吐量（TPOT），适合通过独立优化算力、存储和并行策略提升推理效率。

大模型推理过程分为 Prefill 和 Decoding 阶段，利用 KV Cache 技术显著提高计算效率。然而，传统固定显存分配方式显存利用率低。PagedAttention 动态分配显存，借鉴操作系统虚拟内存分页技术，通过逻辑块与物理块的映射灵活管理 KV Cache。同时，vLLM 在调度中引入抢占机制和分布式管理策略，实现显存资源的高效利用与多卡协作。

KVCache 是一种优化大语言模型（LLM）推理效率的技术，通过缓存之前计算得到的键值对（Key-Value），减少每次推理过程中的重复计算，从而显著提升推理速度和降低计算开销。本文介绍了 KVCache 的基本概念、内存占用及其实现细节。