Mistral-7B-v0.3_rai_1.7.1_npu_16KAMD Ryzen AI优化的7B参数大模型完全指南【免费下载链接】Mistral-7B-v0.3_rai_1.7.1_npu_16K项目地址: https://ai.gitcode.com/hf_mirrors/amd/Mistral-7B-v0.3_rai_1.7.1_npu_16KMistral-7B-v0.3_rai_1.7.1_npu_16K是一款专为AMD Ryzen AI优化的7B参数大语言模型通过Quark量化技术和OGA模型构建器打造特别针对NPU部署进行了后期处理支持Token Fusion 16K上下文长度为用户提供高效的本地AI推理体验。 模型核心特性解析✨ AMD Ryzen AI专属优化该模型深度整合了AMD Ryzen AI技术通过genai_config.json配置文件中的RyzenAI提供器选项进行了专门优化包括混合优化最大序列长度设置为16384混合优化块上下文设置为1外部数据文件指定为model.pb.bin混合优化令牌后端设为NPUKV缓存最大长度支持16384 技术规格概览模型类型Mistral架构参数规模70亿上下文长度32768配置文件中设置量化策略AWQ / Group 128 / 非对称 / BFP16激活 / UINT4权重词汇表大小32768隐藏层数量32注意力头数32查询头8键值头隐藏层大小4096头大小128 快速开始指南 环境准备要使用Mistral-7B-v0.3_rai_1.7.1_npu_16K模型您需要搭载AMD Ryzen AI技术的处理器适当的驱动程序和软件栈足够的存储空间模型文件包括model.bin、model.onnx、model.onnx.data等 模型获取通过以下命令克隆仓库git clone https://gitcode.com/hf_mirrors/amd/Mistral-7B-v0.3_rai_1.7.1_npu_16K 使用方法详细使用指南请参考Ryzen AI官方文档该文档提供了关于混合OGAOnnx GenAI的完整说明。⚙️ 模型配置详解 主要配置文件genai_config.json包含模型架构和推理参数的核心配置config.json模型结构基本信息tokenizer_config.json分词器配置special_tokens_map.json特殊令牌映射 推理参数设置在genai_config.json中可以调整多种推理参数最大生成长度16384温度temperature1.0Top-K50Top-P1.0重复惩罚1.0波束搜索数量1 许可证信息 修改许可证修改版权所有(c) 2025 Advanced Micro Devices, Inc. 保留所有权利。 本软件根据MIT许可证授权允许免费使用、复制、修改、合并、发布、分发、再许可和销售软件副本需在所有副本或重要部分中包含版权声明和许可声明软件按原样提供不提供任何明示或暗示的担保 基础模型许可证基础模型根据Apache License 2.0授权您可以在http://www.apache.org/licenses/LICENSE-2.0获取完整许可文本。 注意事项目前该模型的基准测试分数尚未公布模型文件包括多种格式ONNX格式(model.onnx、optimized_model.onnx)、二进制权重文件(model.bin、model.pb.bin)等分词器相关文件包括tokenizer.json和tokenizer.model确保在使用时正确加载【免费下载链接】Mistral-7B-v0.3_rai_1.7.1_npu_16K项目地址: https://ai.gitcode.com/hf_mirrors/amd/Mistral-7B-v0.3_rai_1.7.1_npu_16K创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考