Fay Agent 实操指南：5步跑通一个会自主决策的数字人

Fay Agent 实操指南5步跑通一个会自主决策的数字人【免费下载链接】Fayfay是一个帮助数字人2.5d、3d、移动、pc、网页或大语言模型openai兼容、deepseek连通业务系统的agent框架。项目地址: https://gitcode.com/GitHub_Trending/fay/Fay有人问你北京今天多少度你卡住了要空出群聊去查还得兼顾回答明天的安排。你想要的是一个听得懂、会自己判断该调哪个工具、还会主动记事的数字人。Fay Agent就是面向数字人和大语言模型的开源agent框架干的就是这件事。快速上手从克隆到第一次对话的5步第1步克隆代码git clone -b fay-agent-edition https://gitcode.com/GitHub_Trending/fay/Fay主仓库只是总览页带货版、助理版、agent版分别在自己的分支上这步直接把agent版拉下来。第2步装依赖cd Fay pip install -r requirements.txt这步装齐语音识别、语音合成、大模型调用要用的Python依赖一次性装完。第3步把模型密钥写进配置打开项目里的config.json填上模型API密钥和服务地址。Fay只对接OpenAI兼容接口说白了就是说OpenAI那套接口语言的所有模型服务DeepSeek、Moonshot填法都一样。第4步启动服务python main.py这一步把整个后端拉起来模型连接、语音识别、网页面板一起加载。第5步打开面板验证跑完后终端会看到服务启动成功的提示浏览器打开面板数字人已经在那儿等你。输入你能做什么它列出一串可执行的能力就算部署完成了。Fay Agent 三个核心玩法它怎么自己决定调工具普通聊天模型只能在自己知识范围内答题答不上来就编。Fay Agent给模型配了一双手你问北京今天天气怎么样agent先判断该调天气检索工具拿到结果再转成人话。2024年3月补上的python执行器、网页检索工具也是同一套逻辑让它替你跑代码、抓网页内容。想接自己的业务工具照着现有工具的写法注册一个函数就行。怎么让它主动找你说话多数数字人是你问一句、它答一句。Fay Agent带了个面板发消息工具配合日程功能可以在事件临近时主动向聊天面板推一条提醒。2024年3月的版本还加了主动发微信消息的实验工具agent版能主动联系主人不在面板前也能收到。换个底座模型只改一行配置因为只对接OpenAI兼容接口换模型不用动代码DeepSeek、Moonshot或者用vLLM给本地大模型加速推理的工具部署的本地模型把配置里的模型地址和密钥改掉就能跑。agent版上线后底座换过好几次每次都是这么改的。它到底怎么跑一次对话的数据流 说白了整条链路是个没有固定脚本的循环你说的话先过ASR语音转文字那步文本连同最近的对话历史一起发给大模型模型对照工具清单决定调不调、调哪个要调工具结果就塞回给模型由它生成最终回复最后TTS文字变声音那步把回复念出来数字人开口。不用工具时就直接回答。要不要调工具由模型自己拍板这就是agent的自主所在。参数调优3个容易忽略的配置改历史记录条数控制上下文agent每次对话前会读最近的历史记录读得越多上下文越足token也涨得越凶。在配置里把这个条数改成10日常助理足够长期挂着的部署可以再调小省token。开热词funasr语音识别组件支持热词识别。业务里的专有名词、产品编码经常听错把它们加进热词表识别准确率明显上去。代理字段留空配置里有gpt代理设置。不用代理就留空别填杂值。旧版本有些base_url在空值下会报错升级到较新分支就没这个问题了。这里有个坑这三处都在同一个配置文件里但服务不会实时重读改完要重启main.py才生效。落地场景谁在用它干什么门店门口的导购数字人店主把产品手册的PDF接进知识库检索工具顾客在柜台前问这款支不支持WiFi 6agent从手册里查到答案念出来店员不用每个问题都跑一趟。开发者的UE5 metahuman接上metahuman-stream工程后说一句帮我查一下后台页面昨天的单量agent去抓页面、跑处理、把数字念回来数字人从会说话的变成会干活的。小团队的日程提醒团队把agent接进会议日程开会前一晚agent主动向面板推提醒出差在外的成员没刷群也收到了改期通知。新手避坑最容易遇到的3个问题 ⚠️语音开头几个字被吞个别TTS合成链路的已知问题新版已修复升级代码或换合成服务商阿里云TTS、Azure TTS都支持。历史记录为空时报错agent版早期代码在消息初始化和空历史两个场景下有这个bug2024年7月已修复拉最新代码重启即可。服务启动后改不了面板配置这是刻意限制防止运行中配置不一致先停服务改完配置再启动。先跑通main.py的启动链路确认数字人会说会答再动手加自己的业务工具顺手把历史条数和TTS配置调成合适的值。【免费下载链接】Fayfay是一个帮助数字人2.5d、3d、移动、pc、网页或大语言模型openai兼容、deepseek连通业务系统的agent框架。项目地址: https://gitcode.com/GitHub_Trending/fay/Fay创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考