调优流程介绍
网络模型生成时,Auto Tune工具调优在算子编译阶段执行,默认执行流程如下图所示:
- 原始开源框架模型首先传入GE、FE进行图准备(InferShape、算子选择等)及图优化(融合、常量折叠等)等操作。
- 然后进入算子编译阶段,详细编译流程如下:
- 首先根据网络模型中的Layer信息匹配知识库。
- 若能匹配到知识库:
- 在未开启Auto Tune调优或者REPEAT_TUNE的场景下,直接使用知识库中的调优策略编译算子。
- 若开启了Auto Tune调优且同时开启了REPEAT_TUNE,则重新进行调优。
若调优后的结果优于当前已存在的知识库(包括内置知识库与自定义知识库),则会将调优后的结果存入用户自定义知识库,并使用自定义知识库中的调优策略编译算子。
否则,不再生成用户自定义知识库,直接使用已存在的知识库编译算子。
- 若未匹配到知识库:判断是否开启了Auto Tune调优。
- 若开启了Auto Tune调优。
若调优后的结果优于默认调优策略的性能,则会将调优后的结果存入用户自定义知识库,并使用自定义知识库中的调优策略编译算子。
否则,会将默认调优策略存入用户自定义知识库,并使用自定义知识库中的调优策略编译算子。
- 若未开启Auto Tune调优,则使用默认调优策略编译算子。
- 若开启了Auto Tune调优。
- 若能匹配到知识库:
- 首先根据网络模型中的Layer信息匹配知识库。
- 推理场景下,编译完成后,生成适配昇腾AI处理器的离线模型文件。