GM与UB高维切分数据搬运(DataCopy)【免费下载链接】asc-devkit本项目是CANN 推出的昇腾AI处理器专用的算子程序开发语言原生支持C和C标准规范主要由类库和语言扩展层构成提供多层级API满足多维场景算子开发诉求。项目地址: https://gitcode.com/cann/asc-devkit产品支持情况Ascend 950PR/Ascend 950DT支持Atlas A3 训练系列产品/Atlas A3 推理系列产品支持Atlas A2 训练系列产品/Atlas A2 推理系列产品支持Atlas 200I/500 A2 推理产品支持Atlas 推理系列产品AI Core支持Atlas 推理系列产品Vector Core支持Atlas 训练系列产品支持Kirin X90支持Kirin 9030支持功能说明头文件路径为basic_api/kernel_operator_data_copy_intf.h。支持Global Memory与Unified Buffer之间的高维切分数据搬运数据在传输过程中保持原始格式和内容不变。高维切分数据搬运可通过配置数据块个数、单个数据块长度、地址偏移等搬运参数同时支持非连续和连续的数据搬运。具体支持的数据通路为以逻辑位置TPosition表示Global Memory - Unified BufferGM - VECINUnified Buffer - Global MemoryVECOUT - GMCO2 - GM仅Atlas 推理系列产品AI Core支持函数原型接口同时支持非连续搬运和连续搬运对于连续搬运场景推荐使用GM与UB连续数据搬运(DataCopy).md)。Global Memory - Unified Buffertemplate typename T __aicore__ inline void DataCopy(const LocalTensorT dst, const GlobalTensorT src, const DataCopyParams repeatParams)Unified Buffer - Global Memorytemplate typename T __aicore__ inline void DataCopy(const GlobalTensorT dst, const LocalTensorT src, const DataCopyParams repeatParams)参数说明表1模板参数说明参数名描述T操作数的数据类型。支持的数据类型请参考数据类型。表2参数说明参数名输入/输出描述dst输出目的操作数。•类型为LocalTensor时存储位置为Unified Buffer目的地址需要32字节对齐。•类型为GlobalTensor时存储位置为Global Memory目的地址需要按照对应数据类型所占字节数对齐。src输入源操作数。•类型为GlobalTensor时存储位置为Global Memory源地址需要按照对应数据类型所占字节数对齐。•类型为LocalTensor时存储位置为Unified Buffer源地址需要32字节对齐。repeatParams输入搬运参数DataCopyParams类型参数说明请参考表3。通过该参数可配置搬运的数据块大小、个数、间隔等信息同时支持非连续和连续搬运。具体定义请参考${INSTALL_DIR}/asc/include/basic_api/interface/kernel_struct_data_copy.h${INSTALL_DIR}请替换为CANN软件安装后文件存储路径。表3DataCopyParams结构体参数定义参数名描述blockCount搬运的数据块个数。数据类型为uint16_t取值范围blockCount∈[0, 4095]默认值为1。blockLen搬运的每个数据块长度。数据类型为uint16_t取值范围blockLen∈[0, 65535]单位DataBlock32B。srcGap源操作数相邻数据块之间的间隔即前一个数据块结束地址与后一个数据块起始地址的差值数据类型为uint16_t取值范围srcGap∈[0, 65535]单位DataBlock32B。• blockCount 1时srcGap无意义设置为0即可。dstGap目的操作数相邻数据块之间的间隔即前一个数据块结束地址与后一个数据块起始地址的差值数据类型为uint16_t取值范围dstGap∈[0, 65535]单位DataBlock32B。• blockCount 1时dstGap无意义设置为0即可。下面的样例通过两个示例展示连续搬运和非连续搬运的使用方式。针对连续搬运场景推荐使用GM与UB连续数据搬运(DataCopy).md)以下示例仅展示高维切分数据搬运接口具有连续搬运能力。示例1连续搬运以half数据类型为例源操作数的shape为1 * 128。以图1为例将源操作数中128个元素连续搬运至目的操作数。DataCopyParams结构体参数配置如下blockCount 1搬运1个数据块表示连续搬运。blockLen 8一个数据块长度为8个DataBlock。srcGap 0源操作数相邻数据块之间的间隔为0。dstGap 0目的操作数相邻数据块之间的间隔为0。图1连续搬运示意图示例2非连续搬运以half数据类型为例源操作数的shape为1 * 112。以图2为例将源操作数中数据非连续搬运至目的操作数。DataCopyParams结构体参数配置如下blockCount 2搬运2个数据块。blockLen 3一个数据块的长度为3个DataBlock。srcGap 1源操作数相邻数据块之间的间隔为1。dstGap 2目的操作数相邻数据块之间的间隔为2。图2非连续搬运示意图数据类型源操作数和目的操作数支持的数据类型保持一致Global Memory - Unified Buffer和Unified Buffer - Global Memory两个数据通路对同一产品支持的数据类型相同具体如下Ascend 950PR/Ascend 950DT支持的数据类型为b8、b16、b32、b64。Atlas A3 训练系列产品/Atlas A3 推理系列产品支持的数据类型为int8_t、uint8_t、int16_t、uint16_t、half、bfloat16_t、int32_t、uint32_t、float、int64_t、uint64_t、double。Atlas A2 训练系列产品/Atlas A2 推理系列产品支持的数据类型为int8_t、uint8_t、int16_t、uint16_t、half、bfloat16_t、int32_t、uint32_t、float、int64_t、uint64_t、double。Atlas 200I/500 A2 推理产品支持的数据类型为int8_t、uint8_t、int16_t、uint16_t、half、bfloat16_t、int32_t、uint32_t、float、int64_t、uint64_t、double。Atlas 推理系列产品AI Core支持的数据类型为int8_t、uint8_t、int16_t、uint16_t、half、int32_t、uint32_t、float、int64_t、uint64_t、double。Atlas 推理系列产品Vector Core支持的数据类型为int8_t、uint8_t、int16_t、uint16_t、half、int32_t、uint32_t、float、int64_t、uint64_t、double。Atlas 训练系列产品支持的数据类型为int8_t、uint8_t、int16_t、uint16_t、half、int32_t、uint32_t、float、int64_t、uint64_t、double。Kirin X90支持的数据类型为int8_t、uint8_t、int16_t、uint16_t、half、int32_t、uint32_t、float、int64_t、uint64_t、double。Kirin 9030支持的数据类型为int8_t、uint8_t、int16_t、uint16_t、half、int32_t、uint32_t、float、int64_t、uint64_t、double。返回值说明无约束说明位于Global Memory的地址必须按照对应数据类型所占字节数对齐位于Unified Buffer的地址必须32字节对齐。当DataCopyParams结构体参数blockCount、blockLen任意一个值为0时该接口将被视为NOP空操作。该说明针对如下型号生效Atlas A3 训练系列产品/Atlas A3 推理系列产品Atlas A2 训练系列产品/Atlas A2 推理系列产品Ascend 950PR/Ascend 950DTDataCopyParams结构体参数的值需在取值范围内表4DataCopyParams结构体参数取值范围参数名取值范围blockCount[0, 4095]blockLen[0, 65535]srcGap[0, 65535]dstGap[0, 65535]如果需要执行多个DataCopy指令且DataCopy的目的地址存在重叠需要通过调用PipeBarrier(ISASI).md)来插入同步指令保证多个DataCopy指令的串行化防止出现异常数据。如下图左侧示意图执行两个DataCopy指令搬运的目的Global Memory地址存在重叠两条搬运指令之间需要通过调用PipeBarrierPIPE_MTE3()添加MTE3搬出流水的同步如下图右侧示意图所示搬运的目的地址Unified Buffer存在重叠两条搬运指令之间需要调用PipeBarrierPIPE_MTE2()添加MTE2搬入流水的同步。针对如下产品型号Atlas A2 训练系列产品/Atlas A2 推理系列产品Atlas A3 训练系列产品/Atlas A3 推理系列产品在跨卡通信算子开发场景DataCopy类接口支持跨卡数据搬运仅支持HCCS物理链路不支持其他通路开发者开发过程中需要关注涉及卡间通信的物理通路可通过npu-smi info -t topo命令查询HCCS物理链路。调用示例Global Memory - Unified Buffer// srcLocal为half类型的LocalTensorsrcGlobal为half类型的GlobalTensor。 // 使用传入DataCopyParams参数的搬运接口支持连续和非连续搬运。 DataCopyParams intriParams; intriParams.blockCount 1; // 连续数据块个数为1。 intriParams.blockLen 512 * sizeof(half) / 32; // 连续数据块长度单位为DataBlock此处长度为512个half元素。 intriParams.srcGap 0; // 源操作数做连续搬运。 intriParams.dstGap 0; // 目的操作数连续排布。 AscendC::DataCopy(srcLocal, srcGlobal, intriParams);结果示例输入数据srcGlobal[1 2 3 ... 512] 输出数据srcLocal[1 2 3 ... 512]Unified Buffer - Global Memory// dstLocal为half类型的LocalTensordstGlobal为half类型的GlobalTensor。 // 使用传入DataCopyParams参数的搬运接口支持连续和非连续搬运。 DataCopyParams intriParams; intriParams.blockCount 1; // 连续数据块个数为1。 intriParams.blockLen 512 * sizeof(half) / 32; // 连续数据块长度单位为DataBlock此处长度为512个half元素。 intriParams.srcGap 0; // 源操作数做连续搬运。 intriParams.dstGap 0; // 目的操作数连续排布。 AscendC::DataCopy(dstGlobal, dstLocal, intriParams);结果示例输入数据dstLocal[1 2 3 ... 512] 输出数据dstGlobal[1 2 3 ... 512]【免费下载链接】asc-devkit本项目是CANN 推出的昇腾AI处理器专用的算子程序开发语言原生支持C和C标准规范主要由类库和语言扩展层构成提供多层级API满足多维场景算子开发诉求。项目地址: https://gitcode.com/cann/asc-devkit创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考