关闭融合规则
如果在模型转换时不指定关闭融合规则,当前默认开启融合规则,开启融合规则可提高计算效率、提升性能,但算子之间可能会融合,融合后的部分算子在实现上可能存在未考虑的场景,导致影响精度,因此在出现精度问题时可以尝试关闭融合规则。如果关闭融合规则功能后,精度达标,则还是需要识别出问题算子,反馈给华为工程师进一步分析、解决算子问题,解决算子问题后,建议保持开启融合规则功能。
- 使用ATC工具转换模型时,增加高级参数:--fusion_switch_file
参数使用示例如下:
--fusion_switch_file=$HOME/module/fusion_switch.cfg
配置文件名举例为fusion_switch.cfg,配置文件样例如下,将配置好的fusion_switch.cfg文件上传到ATC工具所在服务器任意目录:{ "Switch":{ "GraphFusion":{ "ALL":"off" }, "UBFusion":{ "ALL":"off" } } }
参数的详细说明请参见《CANN 开发辅助工具指南》中的“ATC工具使用指南”章节。
- 使用转换后的om模型重新推理。