新的评测：人工智能基准测试用户查询的响应速度

人工智能基准测试组织MLCommons周三发布了一组新的测试和结果，对顶级硬件运行人工智能应用和响应用户的速度进行了评测。

MLCommons 新增的两项基准测试测量了人工智能芯片和系统从强大的人工智能模型中生成响应的速度。这些结果粗略地展示了人工智能应用程序（如 ChatGPT）对用户查询做出响应的速度。

其中一个新基准增加了测量大型语言模型问答场景速度的功能。该基准名为 Llama 2，包含 700 亿个参数，由 Meta Platforms 开发。

MLCommons 官方还在基准测试工具套件中增加了第二个文本到图像生成器，名为 MLPerf，基于 Stability AI 的 Stable Diffusion XL 模型。

由 Alphabet 旗下谷歌、超微和 Nvidia 自身等公司制造的采用 Nvidia H100 芯片的服务器在原始性能的两项新基准测试中均轻松获胜。几家服务器制造商提交了基于该公司性能较弱的 L40S 芯片的设计。

服务器制造商 Krai 为图像生成基准测试提交了一款采用高通 AI 芯片的设计，该芯片的功耗明显低于 Nvidia 的尖端处理器。

英特尔也提交了基于其 Gaudi2 加速芯片的设计。该公司将结果描述为 "稳健"。

在部署人工智能应用时，原始性能并不是唯一关键的衡量标准。先进的人工智能芯片会消耗大量能源，而人工智能公司面临的最重大挑战之一就是部署能以最低能耗提供最佳性能的芯片。

MLCommons 有一个单独的基准类别用于测量功耗。