电子产品世界

通用矩阵乘法 (General Matrix Multiplications, GEMM) 是深度学习计算（包括 LLM 中的计算）中广泛使用的一项基本运算。它对两个输入矩阵进行复杂的乘法运算，得到一个输出。Armv8.6-A 架构增加了 SMMLA 指令，该指令将第一个源矢量中的 2x8 有符号 8 位整数值矩阵与第二个源矢量中的 8x2 有符号 8 位整数值矩阵相乘。然后将生成的 2x2 的 32 位整数矩阵乘积加到目标矢量中的 32 位整数矩阵累加器中。这相当于对每个目标元素执行 8 路点积运算。SMMLA 指令已添加到基于 Neoverse N2 的阿里巴巴倚天 710 CPU 中。

在过去几个月内，Arm 软件团队与合作伙伴紧密协作，利用上述 SMMLA 指令，优化了在 llama.cpp 中实现的 int4 和 int8 GEMM 内核。最近，我们在阿里云倚天 710 云实例上进行了多次实验，采用了最新的优化 [3][4] ，以评估 llama.cpp 在不同场景下的性能表现。

所有实验均在阿里云 ecs.g8y.16xlarge 实例上进行，该实例带有 64 个虚拟 CPU (vCPU) 和 256 GB 的内存。所用的模型是经过 int4 量化的 Llama3-8B 和 Qwen1.5-4B。

提示词词元 (Token) 通常是并行处理的，即使对于单次操作 (batch=1)，也会使用所有可用核心，而且随着批量大小的增加，提示词处理速率基本不变。在这方面，经过 Arm 优化，每秒处理的词元数提升了 2.7 倍。

词元生成以自回归的方式进行，词元生成的总时间与需要生成的输出长度相关。在这方面，经过 Arm 优化，在处理更大批量的数据时提升效果更为明显，吞吐量最多可提高 1.9 倍。

词元生成的延迟对 LLM 的交互式部署非常重要。对于下个词元响应时间 (time-to-next-token)，100ms 的延迟是关键的目标指标，这是基于人们每秒 5-10 个单词的典型阅读速度计算得出的。在下方图表中，我们看到在单次操作和批量处理的场景下，阿里云倚天 710 云实例都能满足 100ms 的延迟要求，因此是常规体量 LLM 的合适部署目标。我们使用了两组不同的新模型 Llama3-8B 和 Qwen1.5-4B，以展示实际部署中不同体量的常规 LLM 的延迟情况。

此外，我们使用经过 int4 量化的 Llama3-8B 模型，比较了它在倚天 710 与在阿里云上其他服务器 CPU 的性能 [注] 。

我们发现，与其他两款 CPU 相比，阿里云倚天 710 的提示词处理表现出最高达 3.2 倍的性能优势，词元生成性能最高达 2.2 倍的优势。

同样值得注意的是，阿里云倚天 710 平台的成本效益高于 Icelake 和 Sapphire Rapids，这在阿里云倚天 710 实例相对较低的定价中就有所体现。这使得阿里云倚天 710 在 LLM 推理的总体拥有成本方面具有显著优势，与其他两款 CPU 相比，每元词元数量最高多了近三倍，这为希望在采用 LLM 的过程中逐步扩大规模的用户提供了令人信服的优势。

当开发者想要在应用中部署专用 LLM 时，服务器 CPU 为开发者提供了灵活、经济和简化的部署流程。Arm 集成了几项关键的增强功能，大幅提高了 LLM 的性能。得益于此，基于 Arm Neoverse 的服务器处理器（如阿里云倚天 710）能够提供优于其他服务器 CPU 的 LLM 性能。此外，它们还有助于降低采用 LLM 的门槛，使更多应用开发者能够轻松将 LLM 部署于各种场景。