如何让InternVL2_5-4B实时输出？3步实现打字机式流式对话

如何让InternVL2_5-4B实时输出3步实现打字机式流式对话【免费下载链接】InternVL2_5-4B项目地址: https://ai.gitcode.com/hf_mirrors/OpenGVLab/InternVL2_5-4BInternVL2_5-4B 是一款 4B 级开源多模态大模型支持看图、看视频和纯文本对话。默认调用时它会憋大招——生成完整答案后一次性返回等待体验并不好。本文用 3 个简单步骤基于 Transformers 官方的TextIteratorStreamer帮你在本地实现打字机式流式输出让文字像聊天软件一样逐字蹦出来。先看看效果为什么要做流式输出多模态模型的回答往往比较长尤其是描述图片、分析视频时一次性输出意味着用户要干等十几秒。流式输出Streaming Output把生成过程变成边生成边显示首字延迟大幅缩短观感和真实聊天工具一致。下面的小熊猫图片就是本项目自带的演示样例用它提问请描述这张图片配合流式输出后回答会逐字显现准备工作获取模型与环境环境要求Python transformers4.37.2 一块 NVIDIA GPU模型约 4B 参数16GB 显存可跑显存紧张可用 BNB 8-bit 量化加载模型文件包含在仓库中model-00001-of-00002.safetensors、model-00002-of-00002.safetensors两个权重分片以及config.json、modeling_internvl_chat.py等自定义推理代码如果想在本地获取完整仓库可以执行git clone https://gitcode.com/hf_mirrors/OpenGVLab/InternVL2_5-4B第1步加载模型与分词器流式输出依赖 Transformers 的generate接口而 InternVL2_5-4B 的chat方法内部正是调用它见modeling_internvl_chat.py中的generate定义。因此第一步只需常规加载import torch from transformers import AutoModel, AutoTokenizer path OpenGVLab/InternVL2_5-4B model AutoModel.from_pretrained( path, torch_dtypetorch.bfloat16, low_cpu_mem_usageTrue, trust_remote_codeTrue).eval().cuda() tokenizer AutoTokenizer.from_pretrained(path, trust_remote_codeTrue, use_fastFalse)加载图片样例用仓库自带的examples/image1.jpg即可并准备好问题from PIL import Image question image\nPlease describe the image in detail. pixel_values load_image(./examples/image1.jpg, max_num12).to(torch.bfloat16).cuda()load_image的完整实现参考README.md的 Inference 章节新手可直接复制使用。第2步创建流式器把对话丢进线程model.chat(...)是阻塞式调用它会占住当前线程直到生成结束。所以要用一个子线程跑对话主线程负责收流。from transformers import TextIteratorStreamer from threading import Thread # 1️⃣ 初始化流式器 streamer TextIteratorStreamer( tokenizer, skip_promptTrue, skip_special_tokensTrue, timeout10) # 2️⃣ 把 streamer 注入生成配置 generation_config dict(max_new_tokens1024, do_sampleFalse, streamerstreamer) # 3️⃣ 开子线程执行对话 thread Thread(targetmodel.chat, kwargsdict( tokenizertokenizer, pixel_valuespixel_values, questionquestion, historyNone, return_historyFalse, generation_configgeneration_config, )) thread.start()三个关键参数一次看懂参数作用skip_promptTrue跳过输入的 prompt 部分只吐出生成内容skip_special_tokensTrue过滤特殊标记避免出现img等内部 tokentimeout10读取超时时间秒防止程序卡死第3步循环读取逐字打印TextIteratorStreamer本身就是一个可迭代对象子线程每生成一段文字主线程的for循环就能取到一段打印出来即得打字机效果generated_text for new_text in streamer: if new_text model.conv_template.sep: break # 遇到对话模板分隔符说明回答结束 generated_text new_text print(new_text, end, flushTrue) # 不换行 立即刷新运行后控制台会像聊天窗口一样逐字显示User: image Please describe the image in detail. Assistant: This image shows a red panda resting on a wooden platform...✅ 到这里流式对话就通了常见问题速查Qfor 循环一直不输出确认streamer是通过generation_config传给model.chat的确认transformers版本 ≥ 4.37.2。Q输出中出现奇怪符号检查skip_prompt和skip_special_tokens是否都设为True。Q流式时回答质量变了官方示例中流式场景使用do_sampleFalse贪心解码更稳定如需采样可改回do_sampleTrue。Q想部署成线上服务怎么办生产环境推荐 LMDeploylmdeploy serve api_server OpenGVLab/InternVL2_5-4B即可用 OpenAI 兼容接口拿到流式响应详见README.md的 Deployment 章节。小结步骤核心动作第1步加载 InternVL2_5-4B 模型与分词器第2步用TextIteratorStreamer建流子线程跑model.chat第3步主线程循环读取并逐段打印只需十几行代码InternVL2_5-4B 就能实现实时流式输出。建议配合README.md中的多图、视频对话示例继续体验多模态大模型交互的丝滑感立刻就有了 【免费下载链接】InternVL2_5-4B项目地址: https://ai.gitcode.com/hf_mirrors/OpenGVLab/InternVL2_5-4B创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考