Mmad GEMV样例概述本样例介绍了GEMVM1模式下的矩阵乘法。本样例支持的产品及CANN软件版本产品CANN软件版本Ascend 950PR/Ascend 950DT CANN 9.1.0Atlas A3 训练系列产品/Atlas A3 推理系列产品 CANN 9.0.0Atlas A2 训练系列产品/Atlas A2 推理系列产品 CANN 9.0.0目录结构介绍├── mmad_gemv │ ├── figures // 本文中的插图文件 │ ├── scripts │ │ ├── gen_data.py // 输入数据和真值数据生成脚本 │ │ └── verify_result.py // 验证输出数据和真值数据是否一致的验证脚本 │ ├── CMakeLists.txt // 编译工程文件 │ ├── data_utils.h // 数据读入写出函数 │ ├── mmad_gemv.asc // Ascend C样例实现 调用样例 │ └── README.md // 样例说明文档样例描述GEMV模式是指Mmad计算中M1形状为(1, K)的左矩阵A与形状为(K, N)的右矩阵B进行矩阵乘运算的场景。当M1时自动开启GEMV模式仅在Ascend 950PR/Ascend 950DT上支持通过设置mmadParams.disableGemv true关闭。本样例中通过编译参数DISABLE_GEMV选择是否关闭GEMV模式0 代表开启GEMV1 代表关闭。以M1K256N32左右矩阵数据类型为half为具体示例说明GEMV模式、非GEMV模式下Mmad计算的过程。GEMV模式将A矩阵从A1搬运到A2时1 * 256的向量被当作16 * 16的矩阵进行处理调用LoadData接口一次完成16 * 16分形大小的矩阵搬运。B矩阵的搬运以及矩阵乘计算跟基础场景相同如下图1所示。图1GEMV模式Mmad计算示意图非GEMV模式将A矩阵从A1搬运到A2时1 * 256的向量被当作非对齐矩阵数据进行处理将M方向对齐到16后进行搬运。调用LoadData接口每次搬运16 * 16分形大小的矩阵一共搬运CeilDiv(K, 16)16次导致搬运数据量增加性能相较于GEMV模式差如下图2所示。图2非GEMV模式Mmad计算示意图约束说明在Mmad计算中若要开启GEMV模式参数mmadParams.m必须等于1。GEMV场景下左矩阵A在L1搬运到L0A时不支持转置。编译运行在本样例根目录下执行如下步骤编译并执行算子。配置环境变量请根据当前环境上CANN开发套件包的安装方式配置环境变量。source ${install_path}/cann/set_env.sh说明${install_path}为CANN包安装目录未指定安装目录时默认安装至/usr/local/Ascend下。样例执行在本样例目录下执行如下命令。mkdir -p build cd build; # 创建并进入build目录 cmake -DCMAKE_ASC_ARCHITECTURESdav-2201 -DDISABLE_GEMV0 ..;make -j; # 编译工程默认npu模式 python3 ../scripts/gen_data.py # 生成测试输入数据 ./demo # 执行编译生成的可执行程序执行样例 python3 ../scripts/verify_result.py output/output.bin output/golden.bin # 验证输出结果是否正确确认算法逻辑正确使用 CPU调试 或 NPU仿真 模式时添加-DCMAKE_ASC_RUN_MODEcpu或-DCMAKE_ASC_RUN_MODEsim参数即可。示例如下cmake -DCMAKE_ASC_RUN_MODEcpu -DCMAKE_ASC_ARCHITECTURESdav-2201 -DDISABLE_GEMV0 ..;make -j; # cpu调试模式 cmake -DCMAKE_ASC_RUN_MODEsim -DCMAKE_ASC_ARCHITECTURESdav-2201 -DDISABLE_GEMV0 ..;make -j; # NPU仿真模式注意切换编译模式前需清理 cmake 缓存可在 build 目录下执行rm CMakeCache.txt后重新 cmake。编译选项说明选项可选值说明CMAKE_ASC_RUN_MODEnpu默认、cpu、sim运行模式NPU运行、CPU调试、NPU仿真CMAKE_ASC_ARCHITECTURESdav-2201默认、dav-3510NPU架构dav-2201 对应 Atlas A2 训练系列产品/Atlas A2 推理系列产品/Atlas A3 训练系列产品/Atlas A3 推理系列产品dav-3510 对应 Ascend 950PR/Ascend 950DTDISABLE_GEMV0默认、1是否关闭GEMV模式仅在CMAKE_ASC_ARCHITECTURESdav-3510时支持设为1执行结果执行结果如下说明精度对比成功。test pass!创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考