计算单元

企业业务网站

选择区域/语言

Huawei Global - English

搜索

CANN V100R020C10 TBE自定义算子开发指南 (推理) 01

华为采用机器翻译与人工审校相结合的方式将此文档翻译成不同语言，希望能帮助您更容易理解此文档的内容。请注意：即使是最好的机器翻译，其准确度也不及专业翻译人员的水平。华为对于翻译的准确性不承担任何责任，并建议您参考英文文档（已提供链接）。

计算单元

计算单元是AI Core中提供强大算力的核心单元，相当于AI Core的主力军。AI Core包含的计算单元如表2-4所示。

表2-4 计算单元介绍

计算单元	描述
Cube	Cube负责执行矩阵运算。 Cube每次执行可以完成一个fp16的1616与1616的矩阵乘，例如C=AB，如果是int8输入，则一次完成1632与3216的矩阵乘。其中A来源于L0A，B来源于L0B，L0C存储矩阵乘的结果和中间结果。 Accumulator是累加器，把当前矩阵乘的结果与前次计算的中间结果相加，用于完成卷积中的加bias操作。例如：C=AB+C A/B DFF：数据寄存器，缓存当前计算的1616 左/右子矩阵。 Accum DFF：数据寄存器，缓存当前计算的1616结果矩阵。 Cube支持的数据类型主要包含fp16，fp32，uint8，int8，int32等，不同的昇腾AI处理器版本支持的数据类型不同。
Vector	Vector负责执行向量运算。其算力低于Cube，但灵活度高于Cube（如支持数学中的求倒数，求平方根等），Vector所有计算的源数据以及目标数据都要求存储在Unified Buffer中，并要求32Byte对齐。 Vector覆盖各种基本的计算类型和许多定制的计算类型，主要包括fp16，fp32，int32，int8等，不同的昇腾AI处理器版本支持的数据类型不同。
Scalar	Scalar负责各类型的标量数据运算和程序的流程控制。功能上可以看做一个小CPU，完成整个程序的循环控制、分支判断、CUBE/Vector等指令的地址和参数计算以及基本的算术运算等。

计算单元

描述

Cube

Cube负责执行矩阵运算。

Cube每次执行可以完成一个fp16的16*16与16*16的矩阵乘，例如C=A*B，如果是int8输入，则一次完成16*32与32*16的矩阵乘。其中A来源于L0A，B来源于L0B，L0C存储矩阵乘的结果和中间结果。
Accumulator是累加器，把当前矩阵乘的结果与前次计算的中间结果相加，用于完成卷积中的加bias操作。
例如：C=A*B+C
A/B DFF：数据寄存器，缓存当前计算的16*16 左/右子矩阵。
Accum DFF：数据寄存器，缓存当前计算的16*16结果矩阵。

Cube支持的数据类型主要包含fp16，fp32，uint8，int8，int32等，不同的昇腾AI处理器版本支持的数据类型不同。

Vector

Vector负责执行向量运算。

其算力低于Cube，但灵活度高于Cube（如支持数学中的求倒数，求平方根等），Vector所有计算的源数据以及目标数据都要求存储在Unified Buffer中，并要求32Byte对齐。

Vector覆盖各种基本的计算类型和许多定制的计算类型，主要包括fp16，fp32，int32，int8等，不同的昇腾AI处理器版本支持的数据类型不同。

Scalar

Scalar负责各类型的标量数据运算和程序的流程控制。

功能上可以看做一个小CPU，完成整个程序的循环控制、分支判断、CUBE/Vector等指令的地址和参数计算以及基本的算术运算等。

翻译

English

下载文档

更新时间：2021-02-10

文档编号：EDOC1100164866

浏览量：21179

下载量：69

平均得分:

本文档适用于这些产品