Qwen3.5-397B-A17B-MoE-MXFP4模型配置文件解析从config.json到generation_config【免费下载链接】Qwen3.5-397B-A17B-MoE-MXFP4项目地址: https://ai.gitcode.com/hf_mirrors/amd/Qwen3.5-397B-A17B-MoE-MXFP4Qwen3.5-397B-A17B-MoE-MXFP4是AMD基于通义千问Qwen3.5-397B-A17B-FP8模型进行MXFP4量化优化的超大规模混合专家模型。本文深入解析该模型的配置文件结构帮助开发者和研究人员理解这个397B参数模型的量化配置细节和推理设置。模型概述与核心架构配置Qwen3.5-397B-A17B-MoE-MXFP4是一个3970亿参数的混合专家模型支持文本、图像和视频多模态输入专为AMD MI350/MI355硬件架构优化。该模型采用先进的MXFP4量化技术在保持高精度的同时显著减少内存占用。核心配置文件概览项目包含以下关键配置文件config.json- 模型架构和量化配置generation_config.json- 文本生成参数设置tokenizer_config.json- 分词器配置chat_template.jinja- 对话模板preprocessor_config.json- 预处理配置config.json深度解析模型架构参数在config.json中模型的核心架构配置如下architectures: [Qwen3_5MoeForConditionalGeneration], model_type: qwen3_5_moe, text_config: { hidden_size: 4096, num_hidden_layers: 60, num_attention_heads: 32, num_experts: 512, num_experts_per_tok: 10, max_position_embeddings: 262144 }关键架构参数说明hidden_size: 4096 - 隐藏层维度num_hidden_layers: 60 - 总层数num_attention_heads: 32 - 注意力头数num_experts: 512 - 专家总数MoE架构num_experts_per_tok: 10 - 每个token激活的专家数max_position_embeddings: 262144 - 最大上下文长度256K混合注意力机制该模型采用创新的混合注意力机制交替使用线性注意力和全注意力layer_types: [ linear_attention, linear_attention, linear_attention, full_attention, linear_attention, linear_attention, linear_attention, full_attention, // ... 重复模式 ]这种设计在保持性能的同时优化了计算效率每4层中包含3层线性注意力和1层全注意力。视觉模块配置模型支持多模态输入视觉配置如下vision_config: { hidden_size: 1152, depth: 27, num_heads: 16, patch_size: 16, num_position_embeddings: 2304, temporal_patch_size: 2 }视觉编码器采用27层Transformer支持16×16的patch大小能够处理图像和视频输入。MXFP4量化配置详解量化参数设置Qwen3.5-397B-A17B-MoE-MXFP4采用了先进的MXFP4量化方案quantization_config: { global_quant_config: { input_tensors: { dtype: fp4, is_dynamic: true, qscheme: per_group, group_size: 32 }, weight: { dtype: fp4, is_dynamic: false, qscheme: per_group, group_size: 32 } }, quant_method: quark, version: 0.1287177acebb6 }量化特点权重量化: 静态MXFP4量化每32个元素为一组激活量化: 动态MXFP4量化实时计算缩放因子量化方法: 使用AMD-Quark v0.12进行量化共享专家融合技术该模型的创新之处在于共享专家也进行了MXFP4量化并融合到MoE内核中FSE: fused shared expert。相比保持共享专家为bf16精度这进一步减少了bf16内存占用并提升了解码吞吐量。排除层配置配置文件详细列出了不进行量化的层包括lm_head: 语言模型头部注意力层: k_proj、v_proj、q_proj、o_proj门控层: mlp.gate、shared_expert_gate线性注意力层: conv1d、in_proj_*、out_proj视觉模块: 所有norm层和线性层generation_config.json生成参数解析在generation_config.json中配置了模型的文本生成参数{ bos_token_id: 248044, do_sample: true, eos_token_id: [248046, 248044], pad_token_id: 248044, temperature: 0.6, top_k: 20, top_p: 0.95 }生成参数说明temperature: 0.6 - 适中的温度设置平衡创造性和一致性top_k: 20 - 仅从概率最高的20个token中采样top_p: 0.95 - 核采样累积概率达到95%的token集合eos_token_id: [248046, 248044] - 结束标记包括|im_end|和|endoftext|tokenizer_config.json分词器配置特殊标记定义模型定义了丰富的特殊标记支持多模态输入标记ID内容用途248044|endoftext|文本结束标记248045|im_start|对话开始标记248046|im_end|对话结束标记248053|vision_start|视觉输入开始248054|vision_end|视觉输入结束248056|image_pad|图像填充标记248057|video_pad|视频填充标记分词器参数model_max_length: 262144, pad_token: |endoftext|, eos_token: |im_end|, chat_template: ...模型支持长达262144个token的上下文这在处理长文档和多轮对话时具有显著优势。模型性能与评估量化效果验证根据README.md中的评估结果该模型在GSM8K基准测试上表现优异模型版本GSM8K准确率精度恢复率Qwen3.5-397B-A17B-FP897.95100%Qwen3.5-397B-A17B-MoE-MXFP497.2799.31%关键发现MXFP4量化后的模型在GSM8K基准上几乎无损精度恢复率达到99.31%硬件兼容性支持的硬件: AMD MI350 / MI355ROCm版本: 7.2.0PyTorch版本: 2.9.1Transformers版本: 5.3.0推理引擎: SGLang使用指南与最佳实践模型加载示例from transformers import AutoModelForCausalLM, AutoTokenizer model AutoModelForCausalLM.from_pretrained( hf_mirrors/amd/Qwen3.5-397B-A17B-MoE-MXFP4, trust_remote_codeTrue ) tokenizer AutoTokenizer.from_pretrained( hf_mirrors/amd/Qwen3.5-397B-A17B-MoE-MXFP4 )推理配置建议批处理大小: 根据GPU内存调整精度设置: 使用bfloat16以获得最佳性能上下文长度: 充分利用262144的上下文窗口温度设置: 根据任务类型调整创意任务0.8-1.2严谨任务0.3-0.6技术亮点总结 创新特性MXFP4量化: 4位浮点量化平衡精度和效率共享专家融合: 将共享专家融入MoE内核提升推理速度混合注意力: 线性注意力与全注意力的智能组合多模态支持: 原生支持文本、图像、视频输入超长上下文: 262K tokens的上下文长度 配置优化建议量化层选择: 配置文件中的exclude列表显示了哪些层保持原始精度生成参数: 根据应用场景调整temperature、top_k、top_p硬件优化: 充分利用AMD MI系列GPU的硬件特性内存管理: 利用量化优势减少显存占用常见问题解答❓ 为什么选择MXFP4而不是INT4MXFP44位浮点相比INT44位整数能更好地保持模型精度特别是在处理激活值时。动态激活量化进一步提升了量化效果。❓ 如何评估量化效果使用GSM8K等推理基准测试对比量化前后模型的准确率。该模型在GSM8K上达到了99.31%的精度恢复率。❓ 支持哪些推理框架主要支持SGLang推理引擎同时兼容Hugging Face Transformers库。结语Qwen3.5-397B-A17B-MoE-MXFP4的配置文件展示了现代大语言模型在量化优化方面的最新进展。通过精心设计的config.json、generation_config.json和tokenizer_config.json该模型在保持高性能的同时实现了显著的内存优化。理解这些配置文件对于有效使用和进一步优化模型至关重要。无论是研究人员还是开发者深入理解这些配置文件都能帮助你更好地利用这个强大的397B参数模型在多模态任务和长上下文场景中发挥其最大潜力。【免费下载链接】Qwen3.5-397B-A17B-MoE-MXFP4项目地址: https://ai.gitcode.com/hf_mirrors/amd/Qwen3.5-397B-A17B-MoE-MXFP4创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
)
