Phi-3-mini-4k-instruct_rai_1.7.1_hybrid API参考手册开发者必备指南【免费下载链接】Phi-3-mini-4k-instruct_rai_1.7.1_hybrid项目地址: https://ai.gitcode.com/hf_mirrors/amd/Phi-3-mini-4k-instruct_rai_1.7.1_hybridPhi-3-mini-4k-instruct_rai_1.7.1_hybrid是一款基于AMD Ryzen AI技术优化的文本生成模型采用先进的混合量化策略和ONNX运行时支持为开发者提供高效、灵活的自然语言处理能力。本指南将详细介绍模型的API配置、核心参数及快速集成方法帮助开发者轻松上手并充分利用模型性能。模型基础配置详解核心参数概览Phi-3-mini-4k-instruct_rai_1.7.1_hybrid模型在genai_config.json中定义了关键架构参数决定了模型的基本能力和运行特性上下文长度4096 tokensgenai_config.json隐藏层维度3072genai_config.json注意力头数量32genai_config.json隐藏层层数32genai_config.json词汇表大小32064genai_config.json这些参数共同构成了模型的基础架构直接影响文本生成的质量、速度和上下文理解能力。特殊令牌说明模型使用tokenizer_config.json定义的特殊令牌实现对话交互和文本分隔主要包括令牌ID令牌内容功能描述1s序列开始令牌32000|endoftext|文本结束/填充令牌32001|assistant|助手角色标识32006|system|系统提示标识32007|end|对话结束标识32010|user|用户角色标识开发者在构建对话系统时需正确使用这些令牌来格式化输入确保模型能够准确理解对话上下文和角色区分。量化策略与性能优化混合量化技术Phi-3-mini-4k-instruct_rai_1.7.1_hybrid采用AMD Quark量化工具进行优化具体策略为AWQ算法量化128组量化粒度非对称量化模式BFP16激活值UINT4权重README.md这种混合量化方案在保持模型性能的同时显著降低了内存占用特别适合在资源受限的边缘设备上部署。Ryzen AI加速配置模型通过genai_config.json中的会话选项启用Ryzen AI加速session_options: { log_id: onnxruntime-genai, provider_options: [ { RyzenAI: { external_data_file: model_jit.pb.bin, hybrid_opt_free_after_prefill: 1, hybrid_opt_max_seq_length: 4096 } } ] }关键优化参数包括hybrid_opt_free_after_prefill预填充后释放内存hybrid_opt_max_seq_length设置最大序列长度为4096这些配置充分利用了AMD Ryzen AI硬件加速能力提升文本生成效率。文本生成参数配置搜索策略设置模型的文本生成行为通过genai_config.json中的search部分控制主要参数包括采样设置do_sample: 是否启用采样默认falsetemperature: 采样温度默认1.0top_k: Top-K采样默认50top_p: Top-P采样默认1.0长度控制max_length: 最大生成长度默认4096min_length: 最小生成长度默认0length_penalty: 长度惩罚默认1.0重复控制repetition_penalty: 重复惩罚默认1.0no_repeat_ngram_size: 禁止重复n-gram大小默认0开发者可根据具体应用场景调整这些参数平衡生成文本的多样性、相关性和流畅度。快速开始指南环境准备克隆模型仓库git clone https://gitcode.com/hf_mirrors/amd/Phi-3-mini-4k-instruct_rai_1.7.1_hybrid安装必要依赖ONNX RuntimeRyzen AI软件栈相应的Python依赖库基础使用流程加载模型通过ONNX Runtime加载model_jit.onnx模型文件配置生成参数根据需求调整genai_config.json中的生成参数准备输入使用tokenizer.json和tokenizer_config.json对文本进行编码生成文本调用模型推理接口生成文本解码输出对模型输出进行解码得到最终文本结果详细使用方法请参考Ryzen AI官方文档。文件结构说明Phi-3-mini-4k-instruct_rai_1.7.1_hybrid模型包含以下核心文件文件名描述model_jit.onnxONNX格式的模型文件model_jit.pb.bin模型权重数据文件genai_config.json模型配置文件tokenizer.json分词器数据tokenizer_config.json分词器配置chat_template.jinja对话模板special_tokens_map.json特殊令牌映射这些文件共同构成了模型的完整运行环境开发者在部署时需确保所有文件都正确放置在工作目录中。许可证信息Phi-3-mini-4k-instruct_rai_1.7.1_hybrid采用MIT许可证具体条款如下版权所有 (c) 2025 Advanced Micro Devices, Inc特此授予任何获得本软件及相关文档文件以下简称软件副本的人免费许可以不受限制地处理本软件包括但不限于使用、复制、修改、合并、出版、分发、再许可和/或出售软件副本的权利并允许向其提供软件的人这样做但须符合以下条件上述版权声明和本许可声明应包含在软件的所有副本或重要部分中。本软件按原样提供不提供任何明示或暗示的担保包括但不限于对适销性、特定用途适用性和非侵权性的担保。在任何情况下作者或版权持有人均不对因软件或软件的使用或其他交易而引起的任何索赔、损害或其他责任承担责任无论是合同诉讼、侵权行为还是其他形式的诉讼。完整许可证文本请参见LICENSE文件。【免费下载链接】Phi-3-mini-4k-instruct_rai_1.7.1_hybrid项目地址: https://ai.gitcode.com/hf_mirrors/amd/Phi-3-mini-4k-instruct_rai_1.7.1_hybrid创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
