大模型推理加速的研究与分析

在2024年全球机器学习技术大会上，大模型的技术进步以及推理阶段的高效性成为了广泛关注的焦点。近年来，随着大规模语言模型（LLM）的参数量和功能复杂性的快速增长，其在实际应用中的计算开销和性能瓶颈逐渐显现，尤其是在推理阶段。如何在有限的硬件资源条件下有效加速推理过程，降低延迟并提升吞吐量，已经成为技术研发的核心议题。

大模型推理不仅仅是单一的算法优化问题，而是涉及到硬件、软件、算法、系统框架等多层次协同优化的综合工程。实际应用场景中，大模型的推理效率直接影响用户体验，尤其是在需要实时响应的场景下，诸如语音生成、智能对话、多模态翻译等任务。因此，推理加速不仅是技术挑战，同时也对大模型的商业化落地具有重要的意义。

在本研究中，基于最新技术实践，我们对大模型推理加速的关键技术进行了分析，并结合MindIE-LLM框架的具体优化案例，探索了从算法到硬件的多层次优化方案。本文的核心目标是为研究者和工程师提供系统化的推理加速思路，助力大模型在实际场景中的高效应用。

大模型在实际应用中的运行成本和推理时间是两个必须考虑的重要因素。一方面，越来越庞大的模型需要更多的计算资源，包括显卡的高负载和大量的内存使用。另一方面，最终用户希望在推理时获得快速的响应时间，这就需要有效的大模型推理加速方案。

大模型推理的主要挑战包括：

大模型通常拥有数十亿甚至上百亿的参数，这使得模型在推理阶段需要大量的计算资源和能耗。如图（1）所示，超大模型参数和超长序列是大模型的发展趋势，这使得大模型推理对计算和内存的需求日益增加。例如，具有700亿参数的LLaMA-2-70B模型在推理时需要至少6张RTX 3090Ti GPU或者2张NVIDIA A100 GPU，且多卡并行是必不可少的，以保证推理的高效执行。

^{图（1）（来源：大会演示PPT截图 ）}

此外，模型参数的增长速度远快于硬件内存容量的提升速度，如图（2）所示，Transformer模型中的参数数量（红色）呈现出2年240倍的超指数增长，而单个GPU内存（绿色）仅以每2年2倍的速度扩大，这进一步加剧了推理中的内存瓶颈问题。

^{图（2）（来源：大会演示PPT截图 ）}

即使在高端硬件条件下，模型推理也面临着计算和内存资源的双重压力，尤其是在需要处理长序列输入的情况下，推理的带宽和延迟也会成为瓶颈。整体来看，模型推理需要依赖于多卡、多节点并行计算，硬件的高端限制也进一步提高了大模型推理的门槛，成为当前技术发展的重要挑战之一。

在大模型推理过程中，延迟和吞吐量是两个相互制约的指标。延迟是指用户从发出请求到收到响应所需的时间，影响着用户的体验，而吞吐量则表示系统在单位时间内处理的请求数量，直接影响系统的效率和成本。根据最新的技术大会内容，大模型推理中的延迟和吞吐量之间存在显著的挑战，尤其在以下方面：

在推理过程中，大模型的推理可以分为Prefill阶段和Decode阶段。如图（3）所示，这幅图描述了大模型推理的流水线过程，主要分为两个阶段：Prefill阶段和Decode阶段。以下是对图中每个部分的解释：

^{图（3）（来源：大会演示PPT截图 ）}

Prefill阶段主要处理输入序列的特征提取，而Decode阶段则涉及到逐步生成输出。在这两个阶段中，由于不同请求输入长度的差异，计算的需求和复杂度存在较大变化，导致难以充分利用计算资源。例如，在Prefill阶段，计算需求较大且资源消耗高，而在Decode阶段，每次仅生成一个token，计算任务相对较小且不均匀，导致计算资源利用率低下。

针对传统 PD 分离在 Prefill 和 Decode 阶段存在的计算需求不均衡、通信开销大等问题，本文在后续部分将讨论优化后的方案如何解决这些问题。

在Decode阶段，大模型需要逐token地生成输出，每次的计算量小，计算效率低下。此外，计算过程中涉及到的解码操作多为GEMV（矩阵向量乘法），其计算密度低，导致计算资源利用不足。同时，KV缓存的访问呈现随机访问模式，增加了访问延迟，使得整个推理过程的效率进一步降低。

由于Prefill阶段和Decode阶段的计算需求差异显著，这导致了大模型推理过程中计算资源的利用率较低。此外，不同请求的输入长度和输出需求各不相同，使得批量化（batch）处理变得更加困难。例如，batch中的请求在Prefill和Decode阶段的输入、KV缓存的维护等方面均存在显著的差异，进一步加剧了推理系统的复杂性和计算资源利用不均衡的问题。

总体来看，大模型推理中的延迟和吞吐量之间的权衡涉及多方面的技术挑战，包括如何高效地调度计算资源、优化Prefill和Decode阶段的计算过程，以及降低自回归推理中的延迟等。这些挑战直接影响大模型在实际应用中的性能和用户体验，是大模型推理加速中必须解决的重要问题。

大模型的应用场景正在逐步从单模态扩展到多模态，例如从处理文本到处理图像，再到音视频等复杂数据类型。这种扩展虽然增强了模型的能力，但也带来了推理成本的进一步增加。根据2024年全球机器学习技术大会的讨论，音视频数据具有长序列特性，使得计算量和显存需求进一步增大。

在多模态场景中，模型需要处理不同类型的数据，例如图像、音频和视频等，这些数据的处理要求模型具备更高的计算能力和更大的存储空间。从单模态（如文本）到多模态（如图像、音视频），处理过程中的计算复杂度呈指数级增长。例如，在处理视频数据时，模型需要对每一帧进行特征提取和推理，这使得推理的计算量远远超过传统文本处理，导致推理时间显著增加。

根据大会的讨论，OpenAI推出的o1模型经过强化学习训练，具备执行复杂推理任务的能力，其内部包含了很长的思维链路（COT, Chain of Thought），需要处理大量的计算任务。这种增强虽然提升了模型在复杂任务上的表现，但也使得推理过程变得更加耗时。如图（4）所示，o1在进行复杂代码竞赛任务（如CodeForces）和科学领域高难度问题时，其推理性能得到了显著提高，但也需要付出更高的计算成本和推理时间。

^{图（4）（来源：大会演示PPT截图 ）}

随着多模态任务的普及，大模型的推理需要处理更高维度的数据，且通常需要更多的计算资源来完成一系列复杂的推理任务。从PPT的推理计算比较图中可以看出，随着生成输出的增加，推理所需的计算量（以FLOPS为单位）呈现指数级增长，这进一步加剧了推理的计算成本。尤其是在视频处理等场景中，推理成本的增加对硬件性能提出了更高的要求，甚至需要专门设计的硬件加速器来满足实时推理的需求。

总的来说，从单模态到多模态的扩展，以及复杂推理任务（如OpenAI o1的COT）对计算资源的要求显著增加，使得大模型的推理成本不断攀升。未来的大模型推理需要进一步优化硬件和软件协同设计，以实现对多模态数据的高效处理，并降低推理的计算和存储成本。

为了应对这些挑战，研究者们提出了多种大模型推理加速技术，主要包括以下几个层次的优化：

在算子层优化方面，主要通过对底层算子的加速和融合来减少计算开销、提高性能。例如：

通过将多个算子融合为一个复杂算子，可以减少内存访存次数，加快计算速度。常用的融合算子包括但不限于FlashAttention、KVCache、LayerNorm、RMSNorm等。

例如FlashAttention通过在计算过程中优化内存带宽利用，将数据块从HBM（高带宽内存）复制到SRAM中，减少了计算过程中的内存访问延迟，并在SRAM中进行尽可能多的计算，以提高整体带宽利用率和计算效率。这种方法有效地减少了传统Attention机制中由于大量内存访问而产生的性能瓶颈。如图（5）所示， FlashAttention的计算和数据传输过程，下表逐步解释它的计算和数据传输过程。

^{图（5）（来源：大会演示PPT截图 ）}

^{图（6）（来源：大会演示PPT截图 ）}

总结来说，FasterTransformer通过多GPU/多节点加速和优化模型架构，显著提高了大规模预训练模型的推理速度和效率。图中描述的这种加速机制特别适用于需要高吞吐量和低延迟的推理任务，例如文本生成、摘要和嵌入表示等。

在多头注意力机制中，可以将所有操作合并到一个计算核中，减少数据传输并提高数学密度，从而加速推理阶段的计算。层融合的一个典型例子是在多头注意力机制中，通过将Queries、Keys、Values的所有操作合并到一个计算核中执行（如Grouped-query和Multi-query方式）。Grouped-query是将若干个查询头合并为一个计算核处理，从而减少计算和内存访问次数，降低开销。而Multi-query则是将所有查询共享相同的Keys和Values，从而减少数据传输的量，提高计算效率。图（7）中展示了三种不同的Attention机制：Multi-head、Grouped-query、Multi-query，表明通过Grouped-query和Multi-query可以显著减少注意力计算中的数据传输次数，进而提升推理速度。

^{图（7）（来源：大会演示PPT截图 ）}

算法层面的优化通常通过创新或者改进现有的算法来实现，包括但不限于以下几种方式：

使用精度更低的单位来表示模型的权重或激活值，以节省空间和加速模型推理速度。例如，使用SmoothQuant、AWQ、GPTQ等量化方法，可以实现8Bit甚至更低精度的量化，以降低模型的计算开销[1]。此外，量化可以进一步分为权重量化和权重与激活同时量化，这在推理中可以显著减少内存占用和带宽需求。如图（8）所示，展示了SmoothQuant量化前后的对比，下表详细解释了图中展示的内容。

^{图（8）（来源：大会演示PPT截图 ）}

在自回归大模型推理中，通过使用一个简洁且反应迅速的小型模型来辅助解码，提升推理速度。例如，EAGLE、Medusa等方案通过自回归预测加速推理过程，大幅降低推理的计算复杂度。研究表明，通过学习模型的权重和连接结构，可以有效地提高神经网络的计算效率[2]。投机采样机制，通过小模型和大模型的协同工作来优化推理过程和精度， 投机采样机制包Fallback（回退）和Rollback（回滚）两个策略 ，下表详细解释了投机采样机制的内容。

对于超大模型的推理，可以通过模型分片将不同部分的计算任务分布到多个设备上，这样可以减少单个设备的内存压力和计算瓶颈，从而提高整体推理性能[3]。

框架层的优化主要关注如何高效地利用计算资源来执行大模型的推理任务。以下是一些常见的框架层优化手段：

通过在推理过程中保持请求的连续批量处理，减少上下文切换和内存调度带来的开销，从而提高推理效率。

这种优化方法可以有效地管理Attention机制中的KV存储，减少内存占用，提高内存访问效率。如图（10）所示，可以看到PageAttention通过优化KV存储，将逻辑KV块映射到物理KV块，从而减少内存碎片和访问延迟，提升系统吞吐量。

^{图（10）（来源：大会演示PPT截图 ）}

这些框架通过支持多种Attention机制（如MHA、MQA、GQA），以及流水线并行、跨层并行等技术，进一步提高了推理的吞吐量和响应速度[4]。

TensorRT-LLM 框架对 Multi-Head Attention 进行了硬件加速和算子优化，能够通过减少矩阵操作的计算量来提高推理速度。

在 MindelIE-LLM 中，通过使用 Grouped-Query Attention (GQA) 和 Multi-Query Attention (MQA)，有效提升了在多任务并行和长序列推理任务中的性能表现。GQA 可以通过分组共享 Key 和 Value 来减少内存占用和提升计算效率，而 MQA 则能通过对所有 Query 使用相同的 Key 和 Value，进一步减少计算和内存开销

在本文中，我们通过实际案例研究和实验分析，展示了MindIE-LLM框架在推理加速中的效果。MindIE LLM（Mind Inference Engine Large Language Model）是华为昇腾推出的大语言模型推理组件，旨在为大模型推理任务提供高性能解决方案。该组件基于昇腾硬件，支持多并发请求的调度功能，并集成了多种加速特性，如连续批处理（Continuous Batching）、分页注意力（Page Attention）和快速解码（FlashDecoding），以满足用户对高性能推理的需求。MindIE LLM主要提供大模型推理的Python API和调度的C++ API，帮助用户快速部署和测试大模型推理任务，下面我们具体介绍MindIE-LLM中的优化技术及其实验结果：

MindIE-LLM框架通过模块化设计，实现了LLM推理的高效管理和部署。该框架包括多个子模块，如LLM Manager、Text Generator、Modeling等，它们分别负责不同的推理任务管理和计算优化工作。下图展示了MindIE-LLM的整体架构和各模块功能（见图11）。

^{图（11）（来源：大会演示PPT截图 ）}

MindIE-LLM框架中使用了FlashAttention和FlashDecoding技术，用于在推理阶段加速计算。FlashAttention通过批量处理和优化内存带宽利用，显著减少了计算的等待时间，而FlashDecoding则对长序列场景下的解码过程进行了优化。通过对计算流程的并行化，使得即便在batch size较小的情况下也能有效利用计算资源。下图展示了FlashAttention和FlashDecoding的工作原理（见图12）。

^{图（12）（来源：大会演示PPT截图）}

在推理过程中，传统的Naive Batching会导致计算冗余和内存浪费，MindIE-LLM通过引入Continuous Batching减少了这些问题。Continuous Batching将推理任务按Prefill和Decode两个任务调度，以减少不必要的等待时间和内存开销。实验数据显示，使用Continuous Batching可以将吞吐量提升至3到4倍，相比传统方法有显著优势（见图13）。

^{图（13）（来源：大会演示PPT截图 ）}

MindIE-LLM还引入了SplitFuse优化策略，将Prefill和Decode阶段进行合理的融合，减少了计算过程中的通信开销，从而提高了整体性能。下图展示了SplitFuse的具体工作方式及其带来的吞吐量和延迟改善（见图14）。

^{图（14）（来源：大会演示PPT截图 ）}

在MindIE-LLM框架中，推理任务被划分为Prefill和Decode两个阶段，并通过PD分离的方式在不同物理设备上并行执行。这种优化策略有效地减少了阶段之间的依赖性，提高了硬件资源利用率。下图展示了PD分离部署方案的工作原理（见图15）。

^{图（15）（来源：大会演示PPT截图 ）}

MindIE-LLM框架还通过多机推理与通信计算融合策略来优化计算性能。在跨节点的大规模推理场景中，计算和通信往往会成为瓶颈。通过引入通信计算融合策略，MindIE-LLM能够将通信与计算任务并行执行，从而减少了通信延迟，最终实现了大约80%的通信时间减少（见图16）。

^{图（16）（来源：大会演示PPT截图 ）}

大模型推理加速涉及算子、算法、框架、资源调度、底层芯片等全栈综合能力的协调与优化，是一个全方位的系统工程。每一个层次的优化都对模型推理的整体性能起着至关重要的作用。在算子层面，通过算子融合和高性能加速库可以大幅减少计算时间；在算法层面，通过量化、分片策略以及其他创新技术的引入，能够有效地降低计算和内存的需求；在框架层面，通过框架优化和资源调度技术，能够更好地利用硬件资源，减少延迟和提升吞吐量。

大模型推理加速的核心在于提升硬件资源的利用率，减少计算量，减少通信开销，从而提高整体的推理性能。通过算子融合、分片计算、通信计算融合等策略，能够最大程度地利用现有的计算资源，达到提高推理速度、降低推理成本的目标。尤其是在面对庞大模型和多模态任务的推理时，提升硬件利用率尤为重要。

虽然大模型推理在高计算成本、内存需求、延迟与吞吐量权衡等方面面临巨大挑战，但通过硬件和软件协同优化，特别是通过设计针对Prefill和Decode阶段的专有硬件、量化模型和分片策略优化等手段，这些挑战是可以逐步克服的。同时，针对不同的推理场景，采用异构加速等手段也能够充分发挥各类硬件设备的优势。

未来可以探索更极致的压缩和量化算法，例如更低精度的量化（如4-bit甚至更低），以最大限度减少计算量。此外，未来的研究还可以关注替换部分Transformer模块的功能，以简化模型的复杂度，从而进一步降低计算需求。这些改进将帮助在相对有限的硬件资源上部署大模型，降低推理成本，使大模型的应用更加普及。

在推理过程中，Prefill和Decode两个阶段有着不同的计算需求和资源瓶颈。Prefill阶段主要是计算密集型任务，而Decode阶段更注重内存的访问效率。未来，设计专用的硬件模块来针对性地处理这两个阶段，能够有效提高推理效率。例如，为Prefill阶段设计更高计算密度的处理器，或者为Decode阶段优化内存带宽的硬件模块，这样可以显著提升整体推理速度。

未来的推理加速还可以进一步探索异构加速，充分利用不同硬件平台的优势来加速大模型推理。例如，可以将部分不适合GPU加速的计算任务分配给CPU执行，通过CPU的多核并行能力来提升效率。此外，还可以结合专用加速器（如FPGA、TPU）和GPU来构建混合计算平台，以最优方式分配不同类型的计算任务，从而充分利用每种硬件的性能优势，提高整体推理效率。

随着大模型推理场景的不断扩展，推理系统需要处理不同规模和复杂度的请求，这就需要更加智能的资源调度和动态负载平衡方案。未来的推理系统可以结合AI技术，实时分析和预测请求的计算需求，并动态调整资源的分配，以确保推理延迟和吞吐量的最优表现。这种智能调度机制将极大提高系统的资源利用率和响应速度，特别是在多模态任务和异构加速场景下具有显著的优势。

随着模型规模的不断增大，单一节点的推理能力已难以满足需求。未来的推理系统可以更多地采用分布式推理方案，通过多节点协同处理大模型的推理任务，从而突破单一设备的性能瓶颈。此外，在边缘计算场景下，可以将大模型拆分为若干部分，部署到不同的边缘设备上进行协作推理，这不仅可以减少中心服务器的负载，还能够提升推理任务的实时性和可靠性。

[1] Jacob, B., Kligys, S., Chen, B., Zhu, M., Tang, M., Howard, A., Adam, H., & Kalenichenko, D. (2018). Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR).

[2] Han, S., Pool, J., Tran, J., & Dally, W. J. (2015). Learning both Weights and Connections for Efficient Neural Networks. Advances in Neural Information Processing Systems (NeurIPS).

[3] Shoeybi, M., Patwary, M., Puri, R., LeGresley, P., Casper, J., & Catanzaro, B. (2019). Megatron-LM: Training Multi-Billion Parameter Language Models Using Model Parallelism. arXiv preprint arXiv:1909.08053.

[4] NVIDIA Corporation. (2021). NVIDIA TensorRT: High-Performance Deep Learning Inference Optimizer and Runtime. Available: https://developer.nvidia.com/tensorrt

-End-

作者丨FastJson

关于大模型推理加速的方案, 大家还有什么优秀的方案和经验？

欢迎在留言区分享你的见解~

转发本文至朋友圈并留言，即可参与下方抽奖⬇️

小编将抽取1位幸运的小伙伴获取扭扭龙+b站pu定制包

抽奖截止时间：1月24日12:00

如果喜欢本期内容的话，欢迎点个“在看”吧！