L0C Buffer到UB数据搬运Fixpipe【免费下载链接】asc-devkit本项目是CANN 推出的昇腾AI处理器专用的算子程序开发语言原生支持C和C标准规范主要由类库和语言扩展层构成提供多层级API满足多维场景算子开发诉求。项目地址: https://gitcode.com/cann/asc-devkit产品支持情况Ascend 950PR/Ascend 950DT支持包含FixpipeParamsArch3510参数的接口。Atlas A3 训练系列产品/Atlas A3 推理系列产品不支持Atlas A2 训练系列产品/Atlas A2 推理系列产品不支持Atlas 200I/500 A2 推理产品支持包含FixpipeParamsM300参数的接口。Atlas 推理系列产品AI Core不支持Atlas 推理系列产品Vector Core不支持Atlas 训练系列产品不支持Kirin X90不支持Kirin 9030不支持功能说明头文件路径为basic_api/kernel_operator_fixpipe_intf.h。矩阵计算的结果存放在L0C BufferFixpipe接口用于将结果搬运至Unified BufferUB中并且在搬运过程中支持随路格式转换等操作。以Ascend 950PR/Ascend 950DT为例下图展示了随路量化、随路ReLU、随路通道合并的有效组合、中间数据类型和数据路径。下图中的F32-F16与F32-BF16为非量化模式仅为Cast其余为随路scalar/tensor量化模式。图2L0C2UB流程图函数原型L0C Buffer到UB数据搬运提供矩阵搬出的组合接口Fixpipe接口内包含了设置寄存器与数据搬运能力对应的接口如下针对Ascend 950PR/Ascend 950DT通路L0C Buffer-UB不开启tensor量化功能template typename T, typename U, const FixpipeConfig config CFG_ROW_MAJOR __aicore__ inline void Fixpipe(const LocalTensorT dst, const LocalTensorU src, const FixpipeParamsArch3510config.format intriParams)通路L0C Buffer-UB开启tensor量化功能template typename T, typename U, const FixpipeConfig config CFG_ROW_MAJOR __aicore__ inline void Fixpipe(const LocalTensorT dst, const LocalTensorU src, const LocalTensoruint64_t cbufWorkspace, const FixpipeParamsArch3510config.format intriParams)针对Atlas 200I/500 A2 推理产品通路L0C Buffer-UB不开启tensor量化功能template typename T, typename U, const FixpipeConfig config CFG_ROW_MAJOR __aicore__ inline void Fixpipe(const LocalTensorT dst, const LocalTensorU src, const FixpipeParamsM300 intriParams)通路L0C Buffer-UB开启tensor量化功能template typename T, typename U, const FixpipeConfig config CFG_ROW_MAJOR, typename S uint64_t, typename Std::enable_ifStd::is_samePrimTS, uint64_t::value, bool::type true __aicore__ inline void Fixpipe(const LocalTensorT dst, const LocalTensorU src, const LocalTensorS cbufWorkspace, const FixpipeParamsM300 intriParams)注意调用L0C Buffer到UB的Fixpipe接口时模板参数“const FixpipeConfig config”的值不能使用CFG_ROW_MAJOR、CFG_COLUMN_MAJOR、CFG_NZ而需要显式构造isToUB true的配置表示目的物理地址为UB。参数说明表1Fixpipe模板参数说明参数名描述T/U目的操作数/源操作数的数据类型。支持的数据类型请参考数据类型。configFixpipe相关配置参数类型为FixpipeConfig需要显式构造isToUB true的配置表示目的物理地址为UB构造示例如下开启NZ2ND输出数据格式为ND格式constexpr AscendC::FixpipeConfig CFG_ROW_MAJOR_UB {AscendC::CO2Layout::ROW_MAJOR, true};NZ2NZ输出数据格式为NZ格式constexpr AscendC::FixpipeConfig CFG_NZ_UB {AscendC::CO2Layout::NZ, true};开启NZ2DN输出数据格式为DN格式constexpr AscendC::FixpipeConfig CFG_COLUMN_MAJOR_UB {AscendC::CO2Layout::COLUMN_MAJOR, true};FixpipeConfig结构体定义如下struct FixpipeConfig {CO2Layout format;bool isToUB; // 用于用户指定目的地址的位置是否是UB};enum class CO2Layout : uint8_t {NZ 0, // 输出数据格式仍为NZ格式。ROW_MAJOR, // 开启NZ2ND输出数据格式为ND格式。COLUMN_MAJOR, // 仅Ascend 950PR/Ascend 950DT支持开启NZ2DN输出数据格式为DN格式。};constexpr FixpipeConfig CFG_NZ {CO2Layout::NZ};constexpr FixpipeConfig CFG_ROW_MAJOR {CO2Layout::ROW_MAJOR};constexpr FixpipeConfig CFG_COLUMN_MAJOR {CO2Layout::COLUMN_MAJOR}; // 仅Ascend 950PR/Ascend 950DT支持S参数cbufWorkspace的数据类型即随路量化参数的数据类型。•当目的操作数、源操作数、cbufWorkspace使用基础数据类型时模板参数S必须为uint64_t类型否则编译失败。•当目的操作数、源操作数、cbufWorkspace使用TensorTrait类型时模板参数S的LiteType必须为uint64_t类型否则编译失败。模板参数S后一个模板参数仅用于上述数据类型检查用户无需关注。表2Fixpipe参数说明参数名称输入/输出含义dst输出目的操作数类型为LocalTensor地址需满足32字节对齐。src输入源操作数类型为LocalTensor支持的物理地址为L0C BufferTPosition为CO1为Mmad接口计算的结果。数据格式为NZ格式地址需要满足64B对齐。intriParams输入Fixpipe搬运参数具体定义请参考basic_api/interface/kernel_struct_fixpipe.h。参数说明请参考Fixpipe搬运参数FixpipeParamsArch3510、FixpipeParamsM300结构体说明。cbufWorkspace输入量化参数类型为LocalTensoruint64_t支持的物理地址为L1 BufferTPosition为C1地址需满足32字节对齐。•当quantPre为VDEQF16、VQF322B8_PRE、VREQ8时支持。•针对Ascend 950PR/Ascend 950DT除上述外还有VQF322FP8_PRE、VQF322HIF8_PRE、VQF322HIF8_PRE_HYBRID、VQS322BF16_PRE、VQF322F16_PRE、VQF322BF16_PRE、VQF322F32_PRE支持。quantPre介绍请参考Fixpipe搬运参数结构体中quantPre部分。表3Fixpipe搬运参数FixpipeParamsArch3510结构体说明参数名称数据类型含义nSize必选输入源NZ矩阵在N方向上的大小取值范围为nSize∈[0, 4095]。• 若开启channelSplit功能功能nSize必须为8的倍数。• 若不开启channelSplit功能nSize必须为16的倍数。• 若开启NZ2NDnSize*sizeof(T)必须为32的倍数。注nSize0表示不执行搬运该接口将被视为NOP空操作。mSize必选输入源NZ矩阵在M方向上的大小取值范围为mSize∈[0, 65535]。若开启NZ2DNmSize*sizeof(T)必须为32的倍数。注mSize0表示不执行搬运该接口将被视为NOP空操作。srcStride必选输入源NZ矩阵中相邻Z排布的起始地址偏移取值范围为srcStride∈[0, 65535]单位为C0_Size16*sizeof(T)T为src的数据类型其值应填成mSize对16向上取整。dstStride必选输入• 不开启NZ2ND/NZ2DN功能NZ2NZ搬运目的NZ矩阵中相邻Z排布的起始地址偏移取值不为0单位为element。与Fixpipe搬运参数FixpipeParamsV220中的dstStride相比二者的单位发生了变化FixpipeParamsV220中dstStride的单位为datablock32字节而FixpipeParamsArch3510中dstStride的单位为element。• 开启NZ2ND/NZ2DN功能目的ND/DN矩阵每一行中的元素个数取值不为0单位为element。quantPre可选输入用于控制量化模式QuantMode_t类型默认值为QuantMode_t::NoQuant具体定义如下注此参数需要用户手动配置不会自动推导配置对应量化模式。enum QuantMode_t{NoQuant, // 不开启量化功能F322F16, // Float32_2_Float16: float cast成halfcast mode为CAST_RINT模式F322BF16, // Float32_2_BFloat16 :float cast成bfloat16_tcast mode为CAST_RINT模式DEQF16, // DeQuant_Float16: int32_t量化成half, scalar量化VDEQF16, // Vector_DeQuant_Float16: int32_t量化成halftensor量化QF322B8_PRE, // Quant_Float32_2_B8: float量化成int8_t/uint8_tscalar量化VQF322B8_PRE, // Vector_Quant_Float32_2_B8: float量化成int8_t/uint8_ttensor量化REQ8, // ReQuant_int8: int32_t量化成int8_t/uint8_tscalar量化VREQ8, // Vector_ReQuant_int8: int32_t量化成int8_t/uint8_ttensor量化QF322FP8_PRE, // Quant_Float32_2_FP8: float量化成fp8_e4m3fn_tscalar量化VQF322FP8_PRE, // Vector_Quant_Float32_2_FP8: float量化成fp8_e4m3fn_ttensor量化QF322HIF8_PRE, // Quant_Float32_2_HIF8: float量化成hifloat8_t(Half to Away Round)scalar量化VQF322HIF8_PRE, // Vector_Quant_Float32_2_HIF8: float量化成hifloat8_t(Half to Away Round)tensor量化QF322HIF8_PRE_HYBRID, // Quant_Float32_2_HIF8_Hybrid: float量化成hifloat8_t(Hybrid Round)scalar量化VQF322HIF8_PRE_HYBRID, // Vector_Quant_Float32_2_HIF8_Hybrid: float量化成hifloat8_t(Hybrid Round)tensor量化QS322BF16_PRE, // Quant_Int32_2_BFloat16: int32_t量化成bfloat16_tscalar量化VQS322BF16_PRE, // Vector_Quant_Int32_2_BFloat16: int32_t量化成bfloat16_ttensor量化QF322F16_PRE, // Quant_Float32_2_Float16: float量化成halfscalar量化VQF322F16_PRE, // Vector_Quant_Float32_2_Float16: float量化成halftensor量化QF322BF16_PRE, // Quant_Float32_2_BFloat16: float量化成bfloat16_tscalar量化VQF322BF16_PRE, // Vector_Quant_Float32_2_BFloat16: float量化成bfloat16_ttensor量化QF322F32_PRE, // Quant_Float32_2_Float32: float量化成floatscalar量化精度可以达到双千分之一无法达到双万分之一。如果有双万分之一的精度要求建议使用AscendDeQuant高阶API。VQF322F32_PRE, // Vector_Quant_Float32_2_Float32: float量化成floattensor量化精度可以达到双千分之一无法达到双万分之一。如果有双万分之一的精度要求建议使用AscendDeQuant高阶API。};deqScalar可选输入scalar量化参数表示单个scale值quantPre量化模式为随路量化时需要设置该参数。支持的数据类型为uint64_t。reluEn可选输入是否开启NormReLU的开关•false不开启NormReLU功能 默认为false•true开启NormReLU功能。unitFlag可选输入unitFlag是一种Mmad指令和Fixpipe指令细粒度的并行开启该功能后硬件每计算完一个分形计算结果就会被搬出。取值说明如下• 02b00不开启unitFlag• 22b10开启unitFlag硬件执行完指令之后不复位单元标记位• 32b11开启unitFlag硬件执行完指令之后复位单元标记位。开启该功能时须将Mmad指令和Fixpipe指令的unitFlag值设置为2或3。参数设置方案和特性细节可参考Mmad计算中关键特性说明的UnitFlag章节。params可选输入用于选择和配置不同的随路格式转换NZ2NZ/NZ2ND/NZ2DN该参数为TransformParams类型的结构体。TransformParams结构体是一个基于模板参数的类型选择器用于在编译时根据定义FixpipeParamsArch3510搬运参数时使用的模板参数自动选择对应的参数类型。template CO2Layout formatstruct TransformParams {};template struct TransformParamsCO2Layout::NZ {__aicore__ inline TransformParams(){};using PARAMS uint8_t;};template struct TransformParamsCO2Layout::ROW_MAJOR {__aicore__ inline TransformParams(){};using PARAMS Nz2NdParams;};template struct TransformParamsCO2Layout::COLUMN_MAJOR {__aicore__ inline TransformParams(){};using PARAMS Nz2DnParams;};CO2Layout布局类型为ROW_MAJOR时 该指令被定义为从L0C Buffer到目标位置的数据移动并附带NZ2ND转换结构体参数如下struct Nz2NdParams {uint16_t ndNum 1;uint16_t srcNdStride 0;uint32_t dstNdStride 0;};• ndNum源NZ矩阵的数目也就是传输ND矩阵的数目取值范围为ndNum∈[0, 65535]。注ndNum0表示不执行搬运该接口将被视为NOP空操作。• srcNdStride不同NZ矩阵起始地址之间的间隔取值范围为srcNdStride∈[0, 65535]单位为C0_SIZE。当ndNum配置为1时srcNdStride配置为0即可不生效。• dstNdStride目的相邻ND矩阵起始地址之间的偏移取值范围为dstNdStride∈[1, 2^32 -1]单位为element。当ndNum配置为1时dstNdStride配置为0即可不生效。CO2Layout布局类型为COLUMN_MAJOR时 该指令被定义为从L0C Buffer到目标位置的数据移动并附带NZ2DN转换结构体参数如下struct Nz2DnParams {uint16_t dnNum 1;uint16_t srcNzMatrixStride 0;uint32_t dstDnMatrixStride 0;uint16_t srcNzC0Stride 0;};• dnNum传输DN矩阵的数目取值范围为dnNum∈[0, 65535]。注dnNum0表示不执行搬运该接口将被视为NOP空操作。• srcNzMatrixStride不同源NZ矩阵的偏移头与头取值范围srcNzMatrixStride∈[0, 65535]单位C0_SIZE。当dnNum配置为1时srcNzMatrixStride配置为0即可不生效。• dstDnMatrixStride目的相邻ND矩阵起始地址之间的偏移取值范围dstDnMatrixStride∈[0, 2^32 -1]单位element。当dnNum配置为1时dstDnMatrixStride配置为0即可不生效。• srcNzC0Stride源矩阵NZ分形中相邻行的地址偏移头与头取值范围srcNzC0Stride∈[0, 65535]单位C0_SIZE。当启用NZ2DN时srcNzC0Stride不能为0。CO2Layout布局类型为NZ时为普通搬运DMA模式表示从L0C Buffer到目标位置的正常数据移动。dualDstCtrl可选输入双目标模式控制参数。对于Ascend 950PR/Ascend 950DT同一AI Core内有一个Cube Core和两个Vector Core当启用双目标模式控制时L0C Buffer中的M×N矩阵将被分成两半并同时分别写入两个Vector Core各自的UB中其中前半部分写入SUB BLOCK0后半部分写入SUB BLOCK1。• 2b00单目标模式将整个矩阵写入通过subBlockId参数配置的目标UB。• 2b01双目标模式按M维度拆分成形状为M / 2 * N的两个矩阵分别写入两个UB, M必须为2的倍数。• 2b10双目标模式按N维度拆分成形状为M * N / 2的两个矩阵分别写入两个UB, N须为32的倍数。• 2b11保留值。dualDstCtrl仅支持在普通搬运模式NZ2NZ或NZ2ND搬运场景下使用不支持随路功能场景。参数设置方案和特性细节可参考L0C到UB双目标模式subBlockId可选输入启用单目标模式时用于指示目标UB的SUB BLOCK ID。取值为0或1取值为0时写入SUB BLOCK0为1时写入SUB BLOCK1默认为0。isChannelSplit可选输入此参数仅在L0C Buffer到Global Memory通路下有效。表4Fixpipe搬运参数FixpipeParamsM300结构体说明参数名称数据类型含义nSize输入源NZ矩阵在N方向上的大小取值范围为nSize ∈[1, 4095]。•若开启channelSplit功能nSize必须为8的倍数。•若不开启channelSplit功能nSize必须为16的倍数。mSize输入源NZ矩阵在M方向上的大小。•不开启NZ2ND功能取值范围为mSize∈[1, 65535]。•开启NZ2ND功能取值范围为mSize∈[1, 8192]。srcStride输入源NZ矩阵中相邻Z排布的起始地址偏移取值范围为srcStride∈[0, 65535]单位为C0_SIZE(16*sizeof(T)T为src的数据类型)。dstStride输入•不开启NZ2ND功能目的NZ矩阵中相邻Z排布的起始地址偏移取值不为0单位为datablock(32字节)。•开启NZ2ND功能目的ND矩阵每一行中的元素个数取值不为0单位为element。quantPre输入QuantMode_t是一个枚举类型用于控制量化模式默认值为QuantMode_t::NoQuant即不开启量化功能。QuantMode_t取值如下• NoQuant不开启量化功能。• F322F16float cast成halfcast mode为CAST_RINT模式。• F322BF16float cast成bfloat16_tcast mode为CAST_RINT模式。• DEQF16int32_t量化成halfscalar量化。• VDEQF16int32_t量化成halftensor量化。• QF322B8_PREfloat量化成uint8_t/int8_tscalar量化。• VQF322B8_PREfloat量化成uint8_t/int8_ttensor量化。• REQ8int32_t量化成uint8_t/int8_tscalar量化。• VREQ8int32_t量化成uint8_t/int8_ttensor量化deqScalar输入scalar量化参数表示单个scale值quantPre量化模式为scalar量化时需要设置该参数。支持的数据类型为uint64_t。ndNum输入源NZ矩阵的数目也就是传输ND矩阵的数目取值范围为ndNum∈[1, 65535]。srcNdStride输入不同NZ矩阵起始地址之间的间隔。当ndNum大于1时取值范围为srcNdStride∈[1, 512]当ndNum配置为1时srcNdStride可配置为0此时不生效。单位为数据块16 * C0_SIZE。dstNdStride输入目的相邻ND矩阵起始地址之间的偏移取值范围为dstNdStride∈[1, 65535]单位为element。当ndNum配置为1时dstNdStride配置为0即可不生效。reluEn输入是否开启ReLU的开关• false不开启ReLU功能• true开启ReLU功能。unitFlag输入unitFlag是一种Mmad指令和Fixpipe指令细粒度的并行开启该功能后硬件每计算完一个分形计算结果就会被搬出该功能不适用于在L0C Buffer累加的场景。取值说明如下• 02b00不开启unitFlag• 22b10开启unitFlag硬件执行完指令之后不会设置寄存器• 32b11开启unitFlag硬件执行完指令之后会将unitFlag关闭。isChannelSplit输入此参数仅在L0C Buffer到Global Memory通路下有效。数据类型源矩阵与目的矩阵支持的数据类型组合针对Ascend 950PR/Ascend 950DT支持的数据类型组合如下源矩阵L0C Buffer目的矩阵UBfloatint8_t、uint8_t、hifloat8_t、fp8_e4m3fn_t、half、bfloat16_t、float。int32_tint8_t、uint8_t、half、bfloat16_t、int32_t。针对Atlas 200I/500 A2 推理产品支持的数据类型组合如下源矩阵L0C Buffer目的矩阵UBfloatint8_t、uint8_t、half、bfloat16_t、float。int32_tint8_t、uint8_t、half、int32_t。返回值说明无约束说明对于量化输入为float32数据类型的说明如下标准的IEEE 754 float32格式为1bit符号位8bits指数位23bits尾数位当前AI处理器支持的float32格式为1bit符号位8bits指数位10bits尾数位。如果用户提供的是标准的IEEE 754 float32输入API内部会处理成处理器支持的float32格式进行计算此时如果golden数据生成过程中使用的是标准的IEEE 754 float32数据则可能引入精度不匹配问题需要修正golden数据的生成将量化参数的23bits尾数位的低13bits数据位清零再参与量化计算。源矩阵NZ格式地址要求64字节对齐目的矩阵NZ格式地址需要满足32字节对齐。当搬出的mSize、nSize或者ndNum中的任意一个值为0时该指令不会被执行。ndNum0时会报warning。量化和ReLU参数不能为inf/nan和非规格化数。目标数据不能有重叠。如果对目的地址有重叠写入硬件不会报告任何警告和错误也不保证重叠数据的写入顺序。unitFlag特性开启需要配合Mmad同时开启。dualDstCtrl仅支持在普通搬运模式NZ2NZ或NZ2ND搬运场景下使用不支持随路功能场景。当启用NZ2DN且srcNzC0Stride不等于1时不能同时开启unitFlag。Ascend 950PR/Ascend 950DT特殊值/边界值约束说明对于浮点类型inf/nan输入输出可以通过CTRL寄存器控制寄存器的CTRL[48]比特位进行设置控制浮点数量化搬出时的饱和模式对于fp8_e4m3fn_t类型可以通过CTRL寄存器控制寄存器的CTRL[48]比特位进行更精细的设置非饱和模式CTRL[48]设置成1b1inf/nan保持原输出。对于fp8_e4m3fn_t类型若结果的绝对值为inf或大于fp8_e4m3fn_t的最大规格化值则输出结果为nan。饱和模式CTRL[48]设置成1b0inf输出会被饱和为±MAX nan输出会被饱和为0。对于fp8_e4m3fn_t类型当CTRL[50]设置成1b0时nan被转换为零当CTRL[50]设置成1b1时nan保持不变若结果的绝对值为inf或大于fp8_e4m3fn_t的最大规格化值则结果为最大规格化值。// 设置CTRL[48]为0开启浮点数饱和模式 AscendC::AscendCUtils::SetOverflow(0);对于整数类型只有饱和模式。关键特性说明以下图片和说明仅适用于Ascend 950PR/Ascend 950DT不开启NZ2ND随路格式转换不开启NZ2ND的情况下参数设置示例通过Fixpipe接口搬运并去除dummy数据和解释说明如下当M方向上的数据元素个数不是16的倍数时搬入时会额外读取dummy数据并在写入目标位置后丢弃这些dummy数据。矩阵块被定义为连续的16*16的数据块数据块的个数为M/16向上取整矩阵块的长度为M*16*sizeof(T)T是数据类型。单搬运模式nSize 48表示源NZ矩阵中待搬运矩阵图中蓝色区域在N方向上的大小为48个元素。mSize 24表示源NZ矩阵中待搬运矩阵在M方向上的大小为24个元素。srcStride 64表示源NZ矩阵中待搬运矩阵相邻Z排布的起始地址偏移即下图中第一个蓝色Z排布的起始地址与第二个蓝色Z排布的起始地址之间的间隔为64 * C0_Size。dstStride 40 * C0表示目的NZ矩阵中相邻Z排布的起始地址偏移即下图中第一个蓝色Z排布的起始地址与第二个蓝色Z排布的起始地址之间的间隔为40 * 16个元素。图1不开启NZ2ND参数的单搬运模式设置示意图双目标控制模式在普通搬运模式下启用双目标模式如下图所示分为按M维度拆分和按N维度拆分按M维度拆分M必须为2的倍数按N维度拆分N必须为32的倍数N方向切分nSize 32表示源NZ矩阵中待搬运矩阵在N方向上的大小为32个元素。mSize 48表示源NZ矩阵中待搬运矩阵在M方向上的大小为48个元素。srcStride 64表示源NZ矩阵中待搬运矩阵相邻Z排布的起始地址偏移即下图中第一个块Z排布矩阵的起始地址与第二个Z排布矩阵的起始地址之间的间隔为64 * C0_Size。dstStride 64 * C0表示目的NZ矩阵中相邻Z排布的起始地址偏移即下图中UB0中Z排布的起始地址与UB1中Z排布的起始地址之间的间隔为64 * 16个元素。M方向切分nSize 32表示源NZ矩阵中待搬运矩阵在N方向上的大小为32个元素。mSize 24表示源NZ矩阵中待搬运矩阵在M方向上的大小为24个元素。srcStride 64表示源NZ矩阵中待搬运矩阵相邻Z排布的起始地址偏移即下图中第一个块Z排布矩阵的起始地址与第二个Z排布矩阵的起始地址之间的间隔为64 * C0_Size。dstStride 40 * C0表示目的NZ矩阵中相邻Z排布的起始地址偏移即下图中UB0或UB1中第一个Z排布的起始地址与第二个Z排布的起始地址之间的间隔为40 * 16个元素。图2不开启NZ2ND参数和NZ2DN参数的双目标搬运模式设置示意图开启NZ2ND随路格式转换开启NZ2ND的情况下参数设置示例和解释说明如下ndNum 2表示源NZ矩阵的数目为2。图中蓝色区域为NZ矩阵1紫色区域为NZ矩阵2。nSize 32表示源NZ矩阵图中蓝色区域在N方向上的大小为32个元素。mSize 48表示源NZ矩阵在M方向上的大小为48个元素。srcStride 64表示源NZ矩阵中相邻Z排布的起始地址偏移即下图中第一个蓝色Z排布的起始地址与第二个蓝色Z排布的起始地址之间的间隔为64 * C0_Size。dstStride 64表示目的ND矩阵每一行中的元素个数为64。srcNdStride 16表示不同NZ矩阵起始地址之间的间隔为16 * 16 * C0_Size。dstNdStride 4096表示目的相邻ND矩阵起始地址之间的偏移为4096个元素。图3开启NZ2ND参数设置示意图单搬运模式ndNum 2表示源NZ矩阵的数目为2。图中蓝色区域为NZ矩阵1紫色区域为NZ矩阵2。nSize 32表示源NZ矩阵图中蓝色区域在N方向上的大小为32个元素。mSize 48表示源NZ矩阵在M方向上的大小为48个元素。srcStride 64表示源NZ矩阵中相邻Z排布的起始地址偏移即下图中第一个蓝色Z排布的起始地址与第二个蓝色Z排布的起始地址之间的间隔为64 * C0_Size。dstStride 64表示目的ND矩阵每一行中的元素个数为64。srcNdStride 256表示不同NZ矩阵起始地址之间的间隔为256单位为C0_Size。dstNdStride 4096表示目的相邻ND矩阵起始地址之间的偏移为4096个元素。图4开启NZ2ND参数的单搬入模式设置示意图双目标控制模式ndNum 2表示源NZ矩阵的数目为2。图中红框区域为矩阵1蓝框区域为矩阵2。nSize 32表示源NZ矩阵图中红框区域或蓝框区域在N方向上的大小为32个元素。mSize 48表示源NZ矩阵在M方向上的大小为48个元素。srcStride 64表示源NZ矩阵中相邻Z排布的起始地址偏移即下图红框区域中左侧浅色Z排布矩阵的起始地址与右侧深色Z排布矩阵的起始地址之间的间隔为64 * C0_Size。dstStride 64表示目的ND矩阵每一行中的元素个数为64。ndNum 2表示源NZ矩阵的数目。srcNdStride 240表示不同NZ矩阵起始地址之间的间隔为240 * C0_Size。dstNdStride 4096表示目的相邻ND矩阵起始地址之间的偏移为4096个元素。图5开启NZ2ND参数双搬入模式设置示意图开启NZ2DN随路格式转换开启NZ2DN的情况下参数设置示例和解释说明如下单搬运模式示例一参数取值说明如下示意图见图6dnNum 2表示源NZ矩阵的数目为2。图中蓝色区域为NZ矩阵1紫色区域为NZ矩阵2。nSize 32表示源NZ矩阵图中蓝色区域在N方向上的大小为32个元素。mSize 48表示源NZ矩阵在M方向上的大小为48个元素。srcStride 80表示源NZ矩阵中相邻Z排布的起始地址偏移即下图中相邻两块蓝色Z排布的起始地址之间的间隔为80 * C0_Size。dstStride 80表示目的DN矩阵每一行中的元素个数为80。ndNum 2表示源NZ矩阵的数目。srcNzMatrixStride 240表示不同源NZ矩阵的偏移即下图中第一个蓝色Z排布的起始地址和第二个紫色Z排布的起始地址之间的间隔为240 * C0_Size。srcNzC0Stride 1表示源矩阵NZ分形相邻行的地址偏移。dstDnMatrixStride表示相邻DN矩阵起始地址间的偏移为48 * 80 3840个元素。图6开启NZ2DN单搬运模式示意图1示例二参数取值说明如下示意图见图7dnNum 2表示源NZ矩阵的数目为2。图中蓝色区域为NZ矩阵1红色区域为NZ矩阵2。nSize 24表示源NZ矩阵图中蓝色区域在N方向上的大小为24个元素。mSize 24表示源NZ矩阵在M方向上的大小为24个元素。srcStride 80表示源NZ矩阵中相邻Z排布的起始地址偏移即下图中相邻两块蓝色Z排布的起始地址之间的间隔为80 * C0_Size。dstStride 60表示目的DN矩阵每一行中的元素个数为60。ndNum 2表示源NZ矩阵的数目。srcNzMatrixStride 240表示不同源NZ矩阵的偏移即下图中第一个蓝色Z排布的起始地址和第二个紫色Z排布的起始地址之间的间隔为240 * C0_Size。srcNzC0Stride 2表示源矩阵NZ分形相邻行的地址偏移。dstDnMatrixStride表示相邻DN矩阵起始地址间的偏移为48 * 60 2880个元素。图7开启NZ2DN单搬运模式示意图2调用示例完整样例请参考fixpipe_l0c2ub样例。示例通路L0C Buffer-UB。输入A矩阵和B矩阵的数据类型为half输出C矩阵为float默认配置开启Nz2Nd的格式转换。完整样例可以参考样例链接。// L0C Buffer-UB 搬运目的位置为UB需将FixpipeConfig的isToUB配置为true。 constexpr AscendC::FixpipeConfig CFG_ROW_MAJOR_UB {AscendC::CO2Layout::ROW_MAJOR, true}; AscendC::LocalTensoroutputType cUB; cUB AscendC::LocalTensoroutputType(AscendC::TPosition::VECOUT, 0, cSingleSize); AscendC::FixpipeParamsArch3510AscendC::CO2Layout::ROW_MAJOR fixpipeParams; fixpipeParams.mSize baseM; fixpipeParams.nSize baseN; fixpipeParams.srcStride CeilAlign(baseM, CUBE_BLOCK); fixpipeParams.dstStride baseN; AscendC::FixpipeoutputType, l0cType, CFG_ROW_MAJOR_UB(cUB, c, fixpipeParams);【免费下载链接】asc-devkit本项目是CANN 推出的昇腾AI处理器专用的算子程序开发语言原生支持C和C标准规范主要由类库和语言扩展层构成提供多层级API满足多维场景算子开发诉求。项目地址: https://gitcode.com/cann/asc-devkit创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考