A800-3000、A800-3010
A800-3000(Atlas 800 推理服务器(型号 3000))、A800-3010(Atlas 800 推理服务器(型号 3010))开发或运行环境安装参考如下:
- 开发环境
开发环境安装软件如图3-13所示。
软件包说明:
- npu-firmware:固件安装包。
- npu-driver:驱动安装包。
- toolkit:开发套件包。主要用于用户开发应用、自定义算子和模型转换。开发套件包包含开发应用程序所需的AscendCL库文件、开发辅助工具(如ATC模型转换工具)等。
- tfplugin:插件包,对接上层框架Tensorflow的适配插件。在线推理场景下若使用深度学习框架TensorFlow,需要安装该软件包。
- AI框架:仅支持TensorFlow、MindSpore框架。如需进行在线推理,则需安装AI框架。
- 运行环境
运行环境安装软件如图3-14所示,其中nnae软件包支持离线推理、在线推理。
如需进行容器部署,请先参考本手册安装驱动、固件以及toolbox软件包,然后直接从AscendHub上拉取镜像(推荐)或参考《MindX ToolBox用户指南》自行构建容器镜像。
软件包说明:
- npu-firmware:固件安装包。
- npu-driver:驱动安装包。
- nnae:深度学习引擎包。支持离线推理、在线推理(仅支持TensorFlow、MindSpore框架)。
- toolbox:实用工具包。主要包含容器引擎插件Ascend-docker-runtime、Ascend-DMI工具等。
- tfplugin:插件包,对接上层框架Tensorflow的适配插件。在线推理场景下若使用深度学习框架TensorFlow,需要安装该软件包。
- AI框架:仅支持TensorFlow、MindSpore框架。如需进行在线推理,则需安装AI框架。
- 离线推理:是基于原有AI框架模型转换OM模型,不依赖于AI框架执行推理的场景。
- 在线推理:是将原有AI框架做推理的应用快速迁移至昇腾AI处理器上,依赖于AI框架执行推理的场景。