GMToUB随路转换ND2NZ搬运(DataCopy)【免费下载链接】asc-devkit本项目是CANN 推出的昇腾AI处理器专用的算子程序开发语言原生支持C和C标准规范主要由类库和语言扩展层构成提供多层级API满足多维场景算子开发诉求。项目地址: https://gitcode.com/cann/asc-devkit产品支持情况Ascend 950PR/Ascend 950DT支持Atlas A3 训练系列产品/Atlas A3 推理系列产品支持Atlas A2 训练系列产品/Atlas A2 推理系列产品支持Atlas 200I/500 A2 推理产品不支持Atlas 推理系列产品AI Core支持Atlas 推理系列产品Vector Core不支持Atlas 训练系列产品不支持Kirin X90不支持Kirin 9030不支持功能说明头文件路径为basic_api/kernel_operator_data_copy_intf.h。该接口为软仿接口从易用性角度出发进行设计支持在从Global Memory到Unified Buffer的数据搬运过程中进行ND到NZ格式的转换。具体支持的数据通路为以逻辑位置TPosition表示Global Memory - Unified BufferGM - VECIN函数原型不支持enableSmallC0模式template typename T __aicore__ inline void DataCopy(const LocalTensorT dst, const GlobalTensorT src, const Nd2NzParams intriParams)支持enableSmallC0模式仅Ascend 950PR/Ascend 950DT支持// 该函数原型仅支持Ascend 950PR/Ascend 950DT template typename T, bool enableSmallC0 false __aicore__ inline void DataCopy(const LocalTensorT dst, const GlobalTensorT src, const Nd2NzParams intriParams)参数说明表1模板参数说明参数名描述T源操作数或者目的操作数的数据类型。支持的数据类型请参考数据类型。enableSmallC0SmallC0模式开关当dValue小于等于4的时候C0_SIZE会补齐到4 * sizeof(T)字节。默认不开启。表2参数说明参数名输入/输出描述dst输出目的操作数类型为LocalTensor。src输入源操作数类型为GlobalTensor。intriParams输入搬运参数类型为Nd2NzParam具体参数请参考表3。具体定义请参考${INSTALL_DIR}/asc/include/basic_api/interface/kernel_struct_data_copy.h${INSTALL_DIR}请替换为CANN软件安装后文件存储路径。表3Nd2NzParams结构体参数定义参数名描述ndNum传输ND矩阵的数目取值范围ndNum∈[0, 4095]。nValueND矩阵的行数取值范围nValue∈[0, 16384]。dValueND矩阵的列数取值范围dValue∈[0, 65535]。srcNdMatrixStride源操作数相邻ND矩阵起始地址间的偏移取值范围srcNdMatrixStride∈[0, 65535]单位为元素。srcDValue源操作数同一ND矩阵的相邻行起始地址间的偏移取值范围srcDValue∈[1, 65535]单位为元素。dstNzC0StrideND转换到NZ格式后源操作数中的一行会转换为目的操作数的多行。dstNzC0Stride表示目的NZ矩阵中来自源操作数同一行的多行数据相邻行起始地址间的偏移取值范围dstNzC0Stride∈[1, 16384]单位C0_SIZE32B。dstNzNStride目的NZ矩阵中Z型矩阵相邻行起始地址之间的偏移。取值范围dstNzNStride∈[1, 16384]单位C0_SIZE32B。dstNzMatrixStride目的NZ矩阵中相邻NZ矩阵起始地址间的偏移取值范围dstNzMatrixStride∈[1, 65535]单位为元素。ND2NZ转换示意图如下样例中参数设置值和解释说明如下ndNum 2表示传输ND矩阵的数目为2 (ND矩阵1为A1~A2 B1~B2ND矩阵2为C1~C2 D1~D2)。nValue 2ND矩阵的行数也就是矩阵的高度为2。dValue 24ND矩阵的列数也就是矩阵的宽度为24个元素。当dValue不满足32字节对齐时在目的操作数中不足的部分会被补齐为0例如图示中A2所在DataBlock的空白部分会被补齐为0。srcNdMatrixStride 144表达相邻ND矩阵起始地址间的偏移即为A1~C1的距离即为9个DataBlock9 * 16 144个元素。srcDValue 48表示一行的所含元素个数即为A1到B1的距离即为3个DataBlock3 * 16 48个元素。dstNzC0Stride 11。ND转换到NZ格式后源操作数中的一行会转换为目的操作数的多行例如src中A1和A2为1行dst中A1和A2被分为2行。多行数据起始地址之间的偏移就是A1和A2在dst中的偏移偏移为11个DataBlock。dstNzNStride 2表示src中一个ND矩阵的第x行和第x1行转换为NZ格式后在dst中的偏移即A1和B1在dst之间的偏移为2个DataBlock。dstNzMatrixStride 96表达dst中第x个ND矩阵的起点和第x1个ND矩阵的起点的偏移即A1和C1之间的距离即为6个DataBlock6 * 16 96个元素。图1ND2NZ转换示意图half数据类型enableSmallC0开启模式下的ND2NZ转换示意图如下图2enableSmallC0开启模式下的ND2NZ转换示意图half数据类型数据类型Ascend 950PR/Ascend 950DT支持的数据类型为bool、int8_t、uint8_t、hifloat8_t、fp8_e8m0_t、fp8_e5m2_t、fp8_e4m3fn_t、int16_t、uint16_t、half、bfloat16_t、int32_t、uint32_t、float、complex32。Atlas A3 训练系列产品/Atlas A3 推理系列产品支持的数据类型为int8_t、uint8_t、int16_t、uint16_t、half、bfloat16_t、int32_t、uint32_t、float。Atlas A2 训练系列产品/Atlas A2 推理系列产品支持的数据类型为int8_t、uint8_t、int16_t、uint16_t、half、bfloat16_t、int32_t、uint32_t、float。Atlas 推理系列产品AI Core支持的数据类型为int8_t、uint8_t、int16_t、uint16_t、half、int32_t、uint32_t、float。返回值说明无约束说明该接口为软仿接口从易用性角度出发进行设计。Nd2NzParams结构体参数的值需在取值范围内表4Nd2NzParams结构体参数取值范围参数名取值范围ndNum[0, 4095]nValue[0, 16384]dValue[0, 65535]srcNdMatrixStride[0, 65535]srcDValue[1, 65535]dstNzC0Stride[1, 16384]dstNzNStride[1, 16384]dstNzMatrixStride[1, 65535]针对Atlas 推理系列产品AI Core需要预留8KB的Unified Buffer空间作为接口的临时数据存放区。调用示例intriParams参数解析请参考图1。// dstLocal为half类型的Unified Buffer上的LocalTensorsrcGlobal为half类型的GlobalTensor。 AscendC::Nd2NzParams intriParams{1, 32, 32, 0, 32, 32, 1, 0}; // Global Memory - Local Memory AscendC::DataCopy(dstLocal, srcGlobal, intriParams);结果示例输入数据(srcGlobal): [1 2 3 ... 1024] 输出数据(dstLocal):[1 2 ... 15 16 33 34 ... 47 48 65 66 ... 79 80 97 98 ... 111 112 ... 1009 1010... 1023 1024]【免费下载链接】asc-devkit本项目是CANN 推出的昇腾AI处理器专用的算子程序开发语言原生支持C和C标准规范主要由类库和语言扩展层构成提供多层级API满足多维场景算子开发诉求。项目地址: https://gitcode.com/cann/asc-devkit创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考