安装前准备
昇腾模型压缩工具用户准备
支持任意用户(root或者非root)安装昇腾模型压缩工具,本章节以非root用户为例进行操作。
- 若使用root用户安装,则不需要操作该章节,不需要对root用户做任何设置。
- 若使用已存在的非root用户安装,须保证该用户对$HOME目录具有读写以及可执行权限。
- 若使用新的非root用户安装,请参考如下步骤进行创建,如下操作请在root用户下执行。本手册以该种场景为例执行昇腾模型压缩工具的安装。
- 执行以下命令创建昇腾模型压缩工具安装用户并设置该用户的$HOME目录。
useradd -d /home/username -m username
- 执行以下命令设置密码。
passwd username
username为安装昇腾模型压缩工具的用户名,该用户的umask值不能小于0027:- 若要查看umask的值,则执行命令:umask
- 若要修改umask的值,则执行命令:umask 新的取值
- 执行以下命令创建昇腾模型压缩工具安装用户并设置该用户的$HOME目录。
配置昇腾模型压缩工具安装用户权限(可选)
当用户使用非root用户安装时,需要操作该章节,否则请忽略。
- 打开“/etc/sudoers”文件:
chmod u+w /etc/sudoers vi /etc/sudoers
- 在该文件“# User privilege specification”下面增加如下内容:
username ALL=(ALL:ALL) NOPASSWD:SETENV:/usr/bin/apt-get,/usr/bin/pip, /bin/tar, /bin/mkdir, /bin/rm, /bin/sh, /bin/cp, /bin/bash, /usr/bin/make, /usr/bin/pip3, /usr/bin/pip3.7, /usr/bin/pip3.7.5, /bin/ln, /bin/mv
“username”为执行安装脚本的非root用户名。
请确保“/etc/sudoers”文件的最后一行为“#includedir /etc/sudoers.d”,如果没有该信息,请手动添加。
- 添加完成后,执行:wq!保存文件。
- 执行以下命令取消“/etc/sudoers”文件的写权限:
chmod u-w /etc/sudoers
环境准备
类别 |
版本限制 |
获取方式 |
注意事项 |
---|---|---|---|
操作系统 |
18.04 64位Ubuntu操作系统 |
请从http://old-releases.ubuntu.com/releases/18.04.1/网站下载对应版本软件进行安装,可以下载Server版“ubuntu-18.04-server-amd64.iso” |
- |
Python |
3.7.5 |
请参见安装依赖。 |
使用apt-get命令安装依赖时,请确保服务器能够连接网络。 |
TensorFlow |
1.15 |
用户根据实际情况选择安装CPU或GPU: CPU版本安装命令:python3.7.5 -m pip install tensorflow-cpu==1.15 --user GPU版本安装命令:python3.7.5 -m pip install tensorflow-gpu==1.15 --user |
- |
numpy |
1.16.0+ |
请参见安装依赖。 |
- |
Pillow |
6.0.0+ |
请参见安装依赖。 |
- |
protobuf |
3.11.0+ |
请参见安装依赖。 |
- |
安装依赖
- 安装系统依赖库以及编译环境。
分别使用如下命令检查是否安装python依赖软件。
dpkg -l libssl-dev| grep libssl-dev| grep i dpkg -l build-essential| grep build-essential| grep i
若分别返回如下信息则说明已经安装:
ii libssl-dev:amd64 1.0.2g-1ubuntu4.15 amd64 Secure Sockets Layer toolkit - development files ii build-essential 12.1ubuntu2 amd64 Informational list of build-essential packages
否则请执行如下安装命令,(如果只有部分软件未安装,则如下命令修改为只安装还未安装的软件即可):sudo apt-get install -y libssl-dev build-essential
- 检查系统是否安装python3.7.5开发环境。
分别使用命令python3.7.5 --version、pip3.7.5 --version检查是否已经安装,如果返回如下信息则说明已经安装。
Python 3.7.5 pip 19.2.3 from /usr/local/python3.7.5/lib/python3.7/site-packages/pip (python 3.7)
否则请根据如下方式安装python3.7.5。
- 使用wget下载python3.7.5源码包,可以下载到昇腾模型压缩工具所在服务器任意目录,命令为:
wget https://www.python.org/ftp/python/3.7.5/Python-3.7.5.tgz
- 进入下载后的目录,解压源码包,命令为:
tar -zxvf Python-3.7.5.tgz
- 进入解压后的文件夹,执行配置、编译和安装命令:
cd Python-3.7.5 ./configure --prefix=/usr/local/python3.7.5 --enable-shared make sudo make install
其中“--enable-shared”参数用于编译出libpython3.7m.so.1.0动态库。“--prefix”参数指定的路径可以修改为用户本地路径,用户根据实际情况进行修改。本手册以使用/usr/local/python3.7.5路径为例进行说明。
- 查询/usr/lib64或/usr/lib下是否有libpython3.7m.so.1.0,若有则跳过此步骤或将原有文件备份后执行如下命令:将编译后的如下文件复制到/usr/lib64。
sudo cp /usr/local/python3.7.5/lib/libpython3.7m.so.1.0 /usr/lib64
如果环境上没有/usr/lib64,则复制到/usr/lib目录:
sudo cp /usr/local/python3.7.5/lib/libpython3.7m.so.1.0 /usr/lib
libpython3.7m.so.1.0文件所在路径请根据实际情况进行替换。
- 执行如下命令设置软链接:
sudo ln -s /usr/local/python3.7.5/bin/python3 /usr/bin/python3.7.5 sudo ln -s /usr/local/python3.7.5/bin/pip3 /usr/bin/pip3.7.5 sudo ln -s /usr/local/python3.7.5/bin/python3 /usr/bin/python3.7 sudo ln -s /usr/local/python3.7.5/bin/pip3 /usr/bin/pip3.7
执行上述软链接时如果提示链接已经存在,则可以先执行如下命令删除原有链接然后重新执行。
sudo rm -rf /usr/bin/python3.7.5 sudo rm -rf /usr/bin/pip3.7.5 sudo rm -rf /usr/bin/python3.7 sudo rm -rf /usr/bin/pip3.7
- 安装完成之后,执行如下命令查看安装版本,如果返回相关版本信息,则说明安装成功。
python3.7.5 --version pip3.7.5 --version
- 使用wget下载python3.7.5源码包,可以下载到昇腾模型压缩工具所在服务器任意目录,命令为:
- 检查系统是否安装numpy和Pillow等软件。
使用命令pip3.7.5 list检查是否安安装相应版本的依赖,若未安装或安装版本过低,则请执行如下命令:
pip3.7.5 install numpy==1.16.0 --user pip3.7.5 install pillow==6.0.0 --user pip3.7.5 install protobuf==3.11.0 --user pip3.7.5 install tqdm==4.55.0 --user pip3.7.5 install matplotlib==3.2.0 --user
昇腾模型压缩工具软件包准备
- 单击获取链接获取昇腾模型压缩工具具软件包。
V100R020C10版本:Ascend-mindstudio-amct_{software version}_ubuntu18.04-x86_64.tar.gz
V100R020C10SPC100及以上版本:Ascend-cann-amct_{software version}_ubuntu18.04-x86_64.tar.gz
- 检查软件包完整性。
为了防止软件包在传递过程或存储期间被恶意篡改,下载软件包时需下载对应的数字签名文件用于完整性验证。
在软件包下载之后,请参考《OpenPGP签名验证指南》,对从网站下载的软件包进行PGP数字签名校验。如果校验失败,请不要使用该软件包,先联系华为技术支持工程师解决。
使用软件包安装/升级之前,也需要按上述过程先验证软件包的数字签名,确保软件包未被篡改。
- 解压获取到的软件包,获得如下安装包:
- amct_caffe.tar.gz:Caffe框架昇腾模型压缩工具安装包,该场景下工具的使用请参见《模型小型化工具使用指导(Caffe)》。
- amct_tf.tar.gz:TensorFlow框架昇腾模型压缩工具安装包。
- 上传软件包。
以昇腾模型压缩工具的安装用户将amct_tf.tar.gz软件包上传到Linux服务器任意目录下。
- 解压软件包。
执行如下命令解压TensorFlow框架昇腾模型压缩工具软件包。
tar -zxvf amct_tf.tar.gz
获得如下内容:
- TensorFlow框架昇腾模型压缩工具安装包:amct_tensorflow-{version}-py3-none-linux_x86_64.whl,version代表具体版本号。
- TensorFlow框架量化sample包:amct_tensorflow_sample.tar.gz