模型适配说明
推理benchmark工具框架设计包含数据输入、预处理、模型推理、后处理和精度统计等模块。不同模型任务的预处理和后处理存在较大差异,因此在设计上支持添加不同的模型类别来做相应的适配开发。
- 模型预处理适配:模型推理前需要对数据进行预处理,预处理的方法与原始工程中的方法一致,处理好的数据传入模型推理模块。
- 模型推理适配:根据不同的模型结构,构造对应的输入数据结构,并传入模型推理接口执行推理。
- 模型后处理适配:保存模型输出层信息,提取有效输出特征,并根据输出特征进行精度统计。
本站点使用Cookies,继续浏览表示您同意我们使用Cookies。Cookies和隐私政策>
企业商用产品、解决方案和云服务
推理benchmark工具框架设计包含数据输入、预处理、模型推理、后处理和精度统计等模块。不同模型任务的预处理和后处理存在较大差异,因此在设计上支持添加不同的模型类别来做相应的适配开发。