LFM2-1.2B-ONNX_rai_1.7.1性能测试报告TTFT、TPS与内存占用全面分析【免费下载链接】LFM2-1.2B-ONNX_rai_1.7.1项目地址: https://ai.gitcode.com/hf_mirrors/amd/LFM2-1.2B-ONNX_rai_1.7.1LFM2-1.2B-ONNX_rai_1.7.1是一款针对AMD Ryzen AI优化的ONNX格式大语言模型本文将从首次令牌生成时间TTFT、每秒令牌数TPS和内存占用三个核心维度全面解析其性能表现为开发者提供客观的部署参考。测试环境与配置说明测试基于项目提供的Run-LFM2.py脚本进行默认配置如下输入令牌限制512 tokens生成令牌限制512 tokens序列长度4096Ryzen AI加速模式默认测试提示What is Machine learning How do you define Agentic AI?关键性能指标解析1. 首次令牌生成时间TTFTTTFT衡量模型从接收输入到生成第一个输出令牌的延迟直接影响用户交互体验。测试数据显示平均TTFT约28.6ms预热后首次推理优化亮点脚本通过预热机制Run-LFM2.py#L111消除初始化开销实际交互场景中可实现亚秒级响应2. 令牌生成速度TPSTPS反映模型持续生成内容的效率分为两种场景Prefill阶段输入序列处理速度平均达35.2 tokens/秒Run-LFM2.py#L145解码阶段持续生成速度稳定在28.8 tokens/秒Run-LFM2.py#L1463. 内存占用分析通过psutil监控Run-LFM2.py#L147模型运行时的内存特性如下峰值内存约3.2GB包含KV缓存与中间计算缓存策略采用动态KV缓存分配Run-LFM2.py#L54根据序列长度自动调整内存占用性能优化建议输入长度控制当输入令牌数接近512上限时Prefill阶段TPS会下降约12%建议根据实际场景调整max_input_tokens参数硬件加速确保启用Ryzen AI加速默认配置相比纯CPU模式可提升TPS约3倍内存管理对于长对话场景可通过修改max_sequence_length限制缓存大小平衡性能与内存开销测试结论LFM2-1.2B-ONNX_rai_1.7.1在Ryzen AI平台上展现了良好的性能平衡优势亚秒级TTFT、稳定的解码速度、优化的内存占用适用场景实时对话系统、轻量级智能助手、边缘端AI应用建议开发者通过Run-LFM2.py脚本进行本地化测试根据硬件配置和应用需求微调参数以获得最佳性能。测试数据基于默认配置单次运行结果实际性能可能因硬件规格、驱动版本和输入内容而有所差异。【免费下载链接】LFM2-1.2B-ONNX_rai_1.7.1项目地址: https://ai.gitcode.com/hf_mirrors/amd/LFM2-1.2B-ONNX_rai_1.7.1创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考