Qwen3.5-397B-A17B-MoE-MXFP4AMD优化的3970亿参数多模态大模型完整指南【免费下载链接】Qwen3.5-397B-A17B-MoE-MXFP4项目地址: https://ai.gitcode.com/hf_mirrors/amd/Qwen3.5-397B-A17B-MoE-MXFP4Qwen3.5-397B-A17B-MoE-MXFP4是一款由AMD优化的3970亿参数多模态大模型基于Qwen/Qwen3.5-397B-A17B-FP8构建专为AMD MI350/MI355硬件微架构设计采用MXFP4量化技术在保持高性能的同时显著提升了推理效率。 模型核心特性 多模态输入支持输入类型文本、图像、视频输出类型文本视觉处理采用27层视觉编码器支持16×16图像 patch 大小和2×2时空合并config.json AMD硬件优化支持显卡AMD MI350 / MI355软件栈要求ROCm 7.2.0PyTorch 2.9.1Transformers 5.3.0操作系统Linux 创新MoE架构专家数量512个专家每token选择专家数10个共享专家优化将共享专家量化为MXFP4并融合到MoE内核FSE技术相比BF16减少内存占用并提升解码吞吐量README.md 量化技术解析 MXFP4量化方案权重量化OCP MXFP4静态量化激活量化OCP MXFP4动态量化量化工具AMD-Quark v0.12量化范围所有MoE专家包括共享专家 量化效果在GSM8K基准测试中与原始FP8模型相比准确率97.27%原始模型97.95%恢复率99.31%性能提升显著降低BF16内存占用提升解码吞吐量README.md 快速开始指南 环境准备确保系统已安装ROCm 7.2.0和PyTorch 2.9.1然后克隆仓库git clone https://gitcode.com/hf_mirrors/amd/Qwen3.5-397B-A17B-MoE-MXFP4 cd Qwen3.5-397B-A17B-MoE-MXFP4 使用SGLang启动服务python3 -m sglang.launch_server \ --model-path . \ --tensor-parallel-size 4 \ --trust-remote-code \ --attention-backend aiter \ --mem-fraction-static 0.8 \ --host 0.0.0.0 --port 30000 生成配置参数默认生成配置generation_config.json采样策略temperature0.6top_k20top_p0.95Token设置bos_token_id248044eos_token_id[248046, 248044]最大上下文支持262144 tokensconfig.json 性能评估 推理性能部署框架SGLang并行策略张量并行推荐4卡配置内存优化mem-fraction-static0.8静态内存分配比例 评估复现使用lm-evaluation-harness进行评估lm_eval --model local-chat-completions --apply_chat_template \ --tasks gsm8k.yaml \ --num_fewshot 5 \ --model_args model.,base_urlhttp://127.0.0.1:30000/v1/chat/completions,num_concurrent64 \ --gen_kwargs max_tokens12288,temperature0,top_p1 许可证信息许可证Apache-2.0修改声明© 2026 Advanced Micro Devices, Inc. 保留所有权利原始模型基于Qwen/Qwen3.5-397B-A17B-FP8构建️ 技术细节 模型架构基础架构Qwen3_5MoeForConditionalGeneration隐藏层大小4096注意力头数32查询头2键值头层数60层交替使用线性注意力和全注意力 文件结构模型权重94个分片model.safetensors-00001-of-00094.safetensors至model.safetensors-00094-of-00094.safetensors配置文件config.json模型架构、generation_config.json生成参数分词器tokenizer.json、vocab.json、merges.txt这款由AMD优化的多模态大模型通过创新的MXFP4量化技术和MoE架构设计为企业级AI应用提供了高性能、高效率的解决方案特别适合在AMD MI350/MI355平台上部署大规模语言模型应用。【免费下载链接】Qwen3.5-397B-A17B-MoE-MXFP4项目地址: https://ai.gitcode.com/hf_mirrors/amd/Qwen3.5-397B-A17B-MoE-MXFP4创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
