华为采用机器翻译与人工审校相结合的方式将此文档翻译成不同语言，希望能帮助您更容易理解此文档的内容。 请注意：即使是最好的机器翻译，其准确度也不及专业翻译人员的水平。 华为对于翻译的准确性不承担任何责任，并建议您参考英文文档（已提供链接）。
简介
功能描述
推理benchmark工具用来针对指定的推理模型运行推理程序，并能够测试推理模型的性能（包括吞吐率、时延）和精度指标。
使用场景
推理benchmark工具分为以下两种使用场景，两种场景通过不同的参数进行区分。
场景 |
说明 |
|---|---|
纯推理场景 |
该场景仅用来测试推理模型的性能指标，即模型执行的平均时间和平均吞吐率。 该场景无需准备推理数据及数据集文件，只需要准备经过ATC转换后的模型文件即可推理。 |
推理场景 |
该场景除了测试性能指标之外，还可以测试模型的精度指标。 该场景需要准备经过预处理的推理数据及数据集文件和经过ATC转换后的模型文件才能推理。 |
环境要求
项目 |
要求 |
|---|---|
产品形态 |
Atlas 300I 推理卡（型号 3000） Atlas 300I 推理卡（型号 3010） Atlas 800 推理服务器（型号 3000） Atlas 800 推理服务器（型号 3010） Atlas 500 智能小站（型号 3000,3010） |
操作系统 |
Ubuntu 18.04 CentOS 7.6 EulerOS 2.8 |
