UBToL1高维切分数据搬运DataCopy【免费下载链接】asc-devkit本项目是CANN 推出的昇腾AI处理器专用的算子程序开发语言原生支持C和C标准规范主要由类库和语言扩展层构成提供多层级API满足多维场景算子开发诉求。项目地址: https://gitcode.com/cann/asc-devkit产品支持情况Ascend 950PR/Ascend 950DT支持Atlas A3 训练系列产品/Atlas A3 推理系列产品支持Atlas A2 训练系列产品/Atlas A2 推理系列产品支持Atlas 200I/500 A2 推理产品不支持Atlas 推理系列产品AI Core支持Atlas 推理系列产品Vector Core不支持Atlas 训练系列产品不支持Kirin X90不支持Kirin 9030不支持功能说明[!NOTE]说明 本接口为软件仿真实现是在Matmul高阶API的基础上利用Matmul高阶API中的workspace GM空间作为数据中转空间数据先搬入GM再搬入L1 Buffer。因此在使用本接口时需要先使用REGISTER_MATMUL注册高阶API。头文件路径为basic_api/kernel_operator_data_copy_intf.h。该接口实现将矩阵从Unified BufferUBTPosition为VECIN/VECCALC/VECOUT搬运至L1 Buffer支持非连续搬运和连续搬运数据搬运时格式和内容保持不变。函数原型// 同时支持非连续搬运和连续搬运 template typename T __aicore__ inline void DataCopy(const LocalTensorT dst, const LocalTensorT src, const DataCopyParams repeatParams)参数说明表1模板参数说明参数名描述T操作数的数据类型。源操作数和目的操作数的数据类型保持一致。表2参数说明参数名称输入/输出含义dst输出目的操作数类型为LocalTensor存储位置为L1 Buffer起始地址要求32字节对齐。src输入源操作数类型为LocalTensor存储位置为Unified BufferTPosition为VECIN/VECCALC/VECOUT起始地址要求32字节对齐。repeatParams输入搬运参数DataCopyParams类型。通过该参数可配置搬运的数据块大小、个数、间隔等信息同时支持非连续和连续搬运。具体定义请参考${INSTALL_DIR}/asc/include/basic_api/interface/kernel_struct_data_copy.h。表3DataCopyParams结构体参数定义参数名称含义blockCount待搬运的连续传输数据块个数。uint16_t类型取值范围blockCount∈[1, 4095]。blockLen待搬运的每个连续传输数据块长度单位为DataBlock32字节。uint16_t类型取值范围blockLen∈[1, 65535]。srcGap源操作数相邻连续数据块的间隔前面一个数据块的尾与后面数据块的头的间隔单位为DataBlock32字节。uint16_t类型。dstGap目的操作数相邻连续数据块间的间隔前面一个数据块的尾与后面数据块的头的间隔单位为DataBlock32字节。uint16_t类型。下图呈现了DataCopyParams结构体参数的使用方法样例中完成了2个连续传输数据块的搬运每个数据块含有8个DataBlock源操作数相邻数据块之间无间隔目的操作数相邻数据块尾与头之间间隔1个DataBlock。图 1DataCopyParams结构体参数使用示意图数据类型源矩阵和目的矩阵支持的数据类型保持一致。针对Ascend 950PR/Ascend 950DT支持数据类型为bool、int8_t、uint8_t、hifloat8_t、fp8_e5m2_t、fp8_e4m3fn_t、fp8_e8m0_t、int16_t、uint16_t、half、bfloat16_t、int32_t、uint32_t、float、complex32、int64_t、uint64_t、double、complex64。针对Atlas A3 训练系列产品/Atlas A3 推理系列产品支持数据类型为int8_t、uint8_t、int16_t、uint16_t、int32_t、uint32_t、int64_t、uint64_t、half、bfloat16_t、float、double。针对Atlas A2 训练系列产品/Atlas A2 推理系列产品支持数据类型为int8_t、uint8_t、int16_t、uint16_t、int32_t、uint32_t、int64_t、uint64_t、half、bfloat16_t、float、double。针对Atlas 推理系列产品AI Core支持数据类型为int8_t、uint8_t、int16_t、uint16_t、int32_t、uint32_t、int64_t、uint64_t、half、float、double。返回值说明无约束说明如果需要执行多个DataCopy指令且DataCopy的目的地址存在重叠需要通过调用PipeBarrier(ISASI).md)来插入同步指令保证多个DataCopy指令的串行化防止出现异常数据。如果搬运的目的地址L1 Buffer存在重叠两条搬运指令之间需要调用PipeBarrierPIPE_MTE2()添加MTE2搬入流水的同步。针对如下产品型号Atlas A3 训练系列产品/Atlas A3 推理系列产品Atlas A2 训练系列产品/Atlas A2 推理系列产品在跨卡通信算子开发场景DataCopy类接口支持跨卡数据搬运仅支持HCCS物理链路不支持其他通路开发者开发过程中需要关注涉及卡间通信的物理通路可通过npu-smi info -t topo命令查询HCCS物理链路。针对Ascend 950PR/Ascend 950DT在UB-L1 Buffer的数据搬运时可以通过配置编译选项ENABLE_CV_COMM_VIA_SSBUF来选择两种搬运通路当ENABLE_CV_COMM_VIA_SSBUF配置为true时使用SSBuffer进行通信数据通过UB-L1 Buffer之间的硬件通道进行搬运推荐参考样例硬通道搬运当ENABLE_CV_COMM_VIA_SSBUF为false时数据搬运到L1 Buffer经过GM该场景下需要借助Matmul高阶API进行注册操作。调用示例示例场景如图 1所示。示例代码片段如下constexpr uint32_t dataBlockElemCount 16; constexpr uint32_t srcElemCount 2 * 8 * dataBlockElemCount; constexpr uint32_t dstElemCount (2 * 8 1) * dataBlockElemCount; // 源操作数UB2个数据块在源端紧密排列每块8个DataBlock共16个DataBlock。 AscendC::LocalTensorhalf srcLocal(AscendC::TPosition::VECIN, ubAddr, srcElemCount); // 目的操作数L1 Buffer两个目的数据块之间预留1个DataBlock间隔总跨度为17个DataBlock。 AscendC::LocalTensorhalf dstLocal(AscendC::TPosition::A1, a1Addr, dstElemCount); AscendC::DataCopyParams repeatParams; // 搬运2个连续传输数据块。 repeatParams.blockCount 2; // 每个数据块长度为8个DataBlock即256B等于128个half。 repeatParams.blockLen 8; // 源UB相邻数据块尾与头之间无间隔两个数据块紧密读取。 repeatParams.srcGap 0; // 目的A1相邻数据块尾与头之间间隔1个DataBlock即32B等于16个half。 repeatParams.dstGap 1; AscendC::DataCopy(dstLocal, srcLocal, repeatParams);【免费下载链接】asc-devkit本项目是CANN 推出的昇腾AI处理器专用的算子程序开发语言原生支持C和C标准规范主要由类库和语言扩展层构成提供多层级API满足多维场景算子开发诉求。项目地址: https://gitcode.com/cann/asc-devkit创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考