TGW 完整上手指南：从克隆到调参一次讲清

TGW 完整上手指南从克隆到调参一次讲清【免费下载链接】textgenOpen-source desktop app for local LLMs. Text, vision, tool-calling, OpenAI/Anthropic-compatible API. 100% private.项目地址: https://gitcode.com/GitHub_Trending/te/textgen想在浏览器里跑本地 LLM又不想折腾 Docker 和依赖地狱——这就是 Text Generation Web UITGW的出场场景。一句话开源的本地 LLM 网页界面文本、视觉、工具调用全支持数据不出本机还带 OpenAI/Anthropic 兼容 API。5 分钟把 TGW 跑起来装什么不用自己准备环境官方启动脚本会全包先拉 Miniforge 建一个隔离的 Python 3.13 环境再按你的显卡装对应版本的 torch。如果你本机已有干净的 Python 环境这一步可以直接跳过。怎么启动git clone https://gitcode.com/GitHub_Trending/te/text-generation-webui cd text-generation-webui然后按系统三选一Linux跑./start_linux.shWindows双击start_windows.batmacOS跑./start_macos.sh首次运行比较慢放着等 10 分钟以上很正常。好了之后浏览器开http://127.0.0.1:7860界面就在。角色扮演 / 多后端 / 参数预设一次看够 先给 AI 立个人设再开口聊你想做什么让 AI 扮演特定的人跟你对话。它怎么做到改一个 YAML 里的name、greeting、context三个字段角色就成了。角色配置目录 里Assistant.yaml、Example.yaml是现成例子抄一份改两行就能用。效果如何多角色可以在同一个会话里来回切人设不会串。连角色形象都能画比如参考下面这张示例大模型塞不进显存换个后端就行你想做什么小显存也要跑大一点的模型。它怎么做到Model 标签页里换引擎——Transformers 兼容性最好llama.cpp 的 GGUF 量化适合低显存部署ExLlamaV2 走高性能推理CTransformers 偏 C 效率路线。Text Generation Web UI 的对话界面完全不变只是底下换了台发动机。生成太放飞换个预设就行你想做什么让输出稳一点、别乱编。它怎么做到Presets 标签页一键套用参数组合预设目录 里的Creative.yaml、Deterministic.yaml、Top-P.yaml直接选。自己调好的组合存下来下次一条命令复现。TGW 参数怎么调不翻车 ️关键参数速查参数作用推荐起步值temperature生成随机性越高越放飞0.7 - 1.0top_p词汇多样性管风格松紧0.9 - 0.95top_k候选词数量截断50min_p过滤低概率词压复读0.02 - 0.1repetition penalty防止车轱辘话1.05 - 1.1高频报错对照首跑半天没反应→ 还在下环境和依赖第一次 10 分钟起步别以为卡死去强杀CUDA out of memory→ 我一开始也以为是模型坏了其实是显存爆了换小一点的量化或 llama.cpp 后端同一句话翻来覆去说→ 加一点 min_p或重复惩罚 0.057860 端口被占→ 启动命令后面加--port 7861换个门牌号硬件四句话NVIDIACUDA 是默认路线最省心AMD走 ROCmdocs 里有专门的 AMD Setup 文档CPU能跑但只建议试小模型Apple 芯片有专门优化M 系跑得顺装完 TGW 还能干嘛这四点是我用得最多的后续玩法LoRA 微调Training 标签页内置训练数据丢进user_data/training/datasets/目录就能开训OpenAI 兼容 API启动时加--api把你原来调 OpenAI 的现成应用指到http://127.0.0.1:7860就能通社区扩展extensions/目录里 TTS、画图、翻译现成一大堆装上即启用多语言对话google_translate扩展挂上就能跨语言聊打开extensions/目录挑一个silero_tts这样的 TTS 插件装上启用生成你的第一句语音。【免费下载链接】textgenOpen-source desktop app for local LLMs. Text, vision, tool-calling, OpenAI/Anthropic-compatible API. 100% private.项目地址: https://gitcode.com/GitHub_Trending/te/textgen创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考