简介
本文介绍如何将开源框架的网络模型,例如Caffe、TensorFlow等框架训练好的模型,通过OMG(Offline Model Generator:离线模型生成器)将其转换成昇腾AI处理器支持的离线模型,模型转换过程中可以实现算子调度的优化、权值数据重排、量化压缩、内存使用优化等,可以脱离设备完成模型的预处理。
工具功能架构
工具运行流程
使用OMG工具进行模型转换的总体流程如图11-2所示。
详细流程说明如下:
- 使用OMG工具之前,请先在服务器安装DDK或Mind Studio,获取相关路径下的OMG工具,详细说明请参见准备动作中的环境准备。
- 准备要进行转换的模型,并上传到DDK所在服务器,详细说明请参见使用示例。
- 使用OMG工具进行模型转换,在配置相关参数时,根据实际情况选择是否进行AIPP配置或者量化配置。
- AIPP是昇腾AI处理器提供的硬件图像预处理模块,包括色域转换,图像归一化(减均值/乘系数)和抠图(指定抠图起始点,抠出神经网络需要大小的图片)等功能。DVPP模块输出的图片多为对齐后的YUV420SP类型,不支持输出RGB图片。因此,业务流需要使用AIPP模块转换对齐后YUV420SP类型图片的格式,并抠出模型需要的输入图片。
- 量化是指对高精度数据进行低Bit量化,在对模型大小和性能有更高要求的时候可以选择执行量化操作。模型转换过程中量化会将高精度数据向低比特数据进行量化,让最终生成的模型更加轻量化,从而达到节约网络存储空间、降低传输时延以及提高运算执行效率的目的。