推理场景下调优

前提条件

• 请参见环境准备准备好开发环境与运行环境，并完成相关依赖软件的安装。
• 请参见配置环境变量配置好Auto Tune工具执行依赖的环境变量。

使用ATC工具进行模型转换时调优

在执行ATC工具进行模型转换时，可通过--auto_tune_mode="xx"开关，使能Auto Tune调优工具。

命令示例如下所示：

atc --model=./tune.pb --framework=3 --output=./add_tune --output_type=FP16 --soc_version=Ascend310 --auto_tune_mode="RL,GA"

• ATC模型转换时默认不记录日志信息，若想输出Auto Tune的日志信息（Auto Tune记录的为Info级别的日志），请在执行atc命令时添加“--log=info”参数，则Auto Tune的日志信息会记录到“/var/log/npu/slog/host-0/host-0_*.log”中，ATC命令详细解释请参见ATC工具使用指南中的约束及参数说明。
• 调优过程中可通过环境变量进行如下功能的设置：
  • 如果网络模型中某个算子已命中知识库，默认不会重复调优，可通过配置REPEAT_TUNE环境变量强制调优。
  • 网络调优场景中，若某层算子性能较低，可通过配置TUNE_OPS_NAME环境变量对指定层进行调优。
  • Auto Tune工具还提供了其他环境变量控制功能，详情可参见配置环境变量。
  • 当前在同一个Host上允许开启多个ATC进程同时调优，多进程并行在一定范围内会提升调优效率，但由于资源的限制，达到一定峰值后调优效率会随着进程数的增多下降，ATC进程数配置建议满足如下规则：

    ATC进程数 * TE_PARALLEL_COMPILER * 2 < Host侧CPU核数。其中TE_PARALLEL_COMPILER为算子并行编译进程数。

    TBE算子并行编译场景下（即TE_PARALLEL_COMPILER>1），建议一个ATC进程对应一个Device。

IR模型构建时调优

在使用Ascend Graph接口构建离线模型时，可在模型构建初始化接口“aclgrphBuildInitialize”的“global_options”参数中进行如下配置，使能Auto Tune调优工具。

std::map<std::string, std::string> global_options = {
    {ge::ir_option::SOC_VERSION, "Ascend310"},
    {ge::ir_option::EXEC_DISABLE_REUSED_MEMORY, "0"},         
    {ge::ir_option::AUTO_TUNE_MODE, "RL,GA"}
};    
auto status = aclgrphBuildInitialize( global_options );

IR模型构建时默认不记录日志信息，若想输出Auto Tune的日志信息（Auto Tune记录的为Info级别的日志），请在模型编译接口“aclgrphBuildModel”的“options”参数中添加如下配置：

    {ge::ir_option::LOG_LEVEL, "info"} 

则Auto Tune的日志信息会记录到“/var/log/npu/slog/host-0/host-0_*.log”中。IR模型构建的详细方法可参见《IR模型构建指南》。

调优过程中可通过环境变量进行如下功能的设置：

• 如果网络模型中某个算子已命中知识库，默认不会重复调优，可通过配置REPEAT_TUNE环境变量强制调优。
• 网络调优场景中，若某层算子性能较低，可通过配置TUNE_OPS_NAME环境变量对指定层进行调优。
  • Auto Tune工具还提供了其他环境变量控制功能，详情可参见配置环境变量。
  • 当前在同一个Host上允许开启多个构图进程同时调优，多进程并行在一定范围内会提升调优效率，但由于资源的限制，达到一定峰值后调优效率会随着进程数的增多下降，构图进程数配置建议满足如下规则：

    构图进程数 * TE_PARALLEL_COMPILER * 2 < Host侧CPU核数。其中TE_PARALLEL_COMPILER为算子并行编译进程数。

    TBE算子并行编译场景下（即TE_PARALLEL_COMPILER>1），建议一个构图进程对应一个Device。

基于DUMP数据离线调优

详细操作如下所示：

1. 使用ATC工具进行模型转换或者执行IR模型构建时获取网络模型中算子的DUMP数据。

   DUMP数据主要包含算子的输出描述文件以及算子的二进制文件等，生成DUMP数据的前提为：

   1. 配置DUMP相关环境变量。开启DUMP数据开关。
      • 配置Auto Tune所需必选环境变量LD_LIBRARY_PATH、PYTHONPATH与ASCEND_OPP_PATH，详细请参见配置环境变量。

        export install_path=/home/HwHiAiUser/Ascend/ascend-toolkit/latest
        export LD_LIBRARY_PATH=${install_path}/acllib/lib64:${install_path}/atc/lib64:$LD_LIBRARY_PATH
        export PYTHONPATH=${install_path}/atc/python/site-packages:${install_path}/atc/python/site-packages/auto_tune.egg/auto_tune:${install_path}/atc/python/site-packages/schedule_search.egg:$PYTHONPATH
        export ASCEND_OPP_PATH=${install_path}/opp

      • 开启DUMP数据开关：

         export ENABLE_TUNE_DUMP=True

      • 设置DUMP数据存储路径：

         export TUNE_DUMP_PATH=/home/HwHiAiUser/DumpData

   2. 执行ATC工具进行模型转换或者执行IR模型构建操作（无需使能Auto Tune调优工具），同步生成DUMP数据。
      • 使用ATC工具进行模型转换方法请参见ATC工具使用指南。
      • 执行IR模型构建的方法请参见《IR模型构建指南》。

      模型构建完成后，会在“TUNE_DUMP_PATH”指定的路径下生成DUMP数据。

2. 基于DUMP数据，执行Auto Tune工具进行离线调优。

   Auto Tune工具离线调优入口脚本为ATC安装路径下的：atc/python/site-packages/schedule_search.egg/schedule_search/msoptune.py，用户可直接调用此python文件实现离线调优，调用命令如下：

   python3.7 {msoptune.py文件所在路径} --start {DUMP数据所在目录}

   示例：

   python3.7 /home/HwHiAiUser/Ascend/ascend-toolkit/latest/atc/python/site-packages/schedule_search.egg/schedule_search/msoptune.py --start /home/HwHiAiUser/DumpData

   • /home/HwHiAiUser/Ascend/ascend-toolkit/latest：ATC组件安装目录，请根据实际情况替换。
   • /home/HwHiAiUser/DumpData：生成的DUMP数据所在目录，可配置为绝对路径，或者相对于当前脚本执行所在目录的相对路径。

   当前版本同一个Host上只允许开启一个进程进行离线调优，不允许多进程并发调优。

自定义知识库

调优完成后，若满足自定义知识库生成条件（请参见调优流程介绍），则会生成自定义知识库。

自定义知识库会存储到“TUNE_BANK_PATH”环境变量指定的路径中。若不设置此环境变量，针对RL调优模式支持的算子，会存储到ATC安装路径的/atc/data/rl/<soc_version>/custom/中；针对GA调优模式支持的算子，会存储到ATC安装路径的atc/data/tiling/<soc_version>/custom/中。

调优结果文件

调优开始后，会在执行调优的工作目录下生成命名为“tune_result_pidxxx_{timestamp}.json”的文件，记录调优过程和调优结果。

Auto Tune在调优过程中会在执行调优工具的目录下生成tune_show_pidxxx_{timestamp}文件夹，tune_show_pidxxx_{timestamp}文件夹存储每个调优算子的flag文件，用户在调优过程中若想停止某层算子的调优可执行如下命令：

python3.7 /home/HwHiAiUser/Ascend/ascend-toolkit/latest/atc/python/site-packages/schedule_search.egg/schedule_search/msoptune.py --stop tune_show_pidxxx_{timestamp}

按照提示信息选择需要停止调优的算子即可。调优停止后，会取当前调优生成知识库与已经存知识库进行比对，若性能优于已有知识库，则在custom目录替换已有知识库或追加新的知识库，否则不生成新的知识库。

tune_show_pidxxx_{timestamp}文件夹在调优结束后会自动删除。