EulerCopilot大模型集成指南GPU/NPU环境下的本地部署最佳实践【免费下载链接】EulerCopilotAn intelligent assistant who can answer your question and help you solve many system problems such as performance optimization and so on. Further more, all you need is talking to EulerCopilot in natural language.项目地址: https://gitcode.com/openeuler/EulerCopilot前往项目官网免费下载https://ar.openeuler.org/ar/想要在本地服务器上部署智能问答助手EulerCopilot吗 本文将为您提供完整的GPU和NPU环境部署指南帮助您轻松搭建自己的AI助手系统EulerCopilot是一款基于openEuler的智能问答工具能够帮助开发者和运维人员解决系统性能优化等复杂问题通过自然语言交互降低操作系统特性使用门槛。 为什么选择本地部署EulerCopilotEulerCopilot作为开源智能助手支持本地化部署这意味着您可以数据安全所有数据都在您的服务器上无需担心隐私泄露离线使用无需互联网连接即可使用AI功能定制化可以根据您的特定需求调整模型和配置成本可控长期使用成本远低于API调用方式 环境要求与准备工作硬件要求组件最低配置推荐配置CPU鲲鹏或x86_64≥32核心64核心以上内存64GB128GB以上存储500GB1TB SSDGPUTesla V100 16GB4张V100或A100NPU910ProB/910B最新版本软件要求操作系统openEuler 22.03 LTS及以上版本K3s≥v1.30.2带Traefik IngressHelm≥v3.15.3Python≥3.9.9 环境准备步骤1. 克隆项目仓库cd /home git clone https://gitcode.com/openeuler/EulerCopilot2. 执行环境检查脚本进入脚本目录并运行环境检查cd /home/EulerCopilot/euler-copilot-helm/scripts bash check_env.sh3. 下载模型文件执行下载脚本获取必要的AI模型bash download_file.sh4. 安装部署工具安装K3s和Helm工具bash install_tools.sh v1.30.2k3s1 v3.15.3 cn GPU环境部署详解下载和配置大模型在GPU环境下我们推荐使用Qwen1.5-14B-Chat模型# 下载模型文件 huggingface-cli download --resume-download Qwen/Qwen1.5-14B-Chat --local-dir Qwen1.5-14B-Chat # 创建FastChat控制器 screen -S controller python3 -m fastchat.serve.controller启动API服务screen -S api python3 -m fastchat.serve.openai_api_server --host 0.0.0.0 --port 30000 --api-keys sk-123456配置GPU工作节点# 创建Python 3.10虚拟环境 mkdir -p /root/py310 conda create --prefix/root/py310 python3.10.14 conda activate /root/py310 # 安装依赖 pip install fschat vllm pip install fschat[model_worker] # 启动GPU worker python3 -m fastchat.serve.vllm_worker \ --model-path /root/models/Qwen1.5-14B-Chat/ \ --model-name qwen1.5 \ --num-gpus 8 \ --gpu-memory-utilization0.7 \ --dtypehalf NPU环境部署方案对于NPU环境EulerCopilot支持华为昇腾系列NPU安装MindIE工具链参考华为官方文档进行MindIE安装模型适配将大模型转换为NPU兼容格式性能优化针对NPU架构进行模型优化⚙️ EulerCopilot服务配置修改配置文件编辑euler-copilot-helm/chart/values.yaml文件llm: openai: url: http://$(IP):30000 key: sk-123456 model: qwen1.5 max_tokens: 8192部署服务# 创建命名空间 kubectl create namespace euler-copilot # 设置Kubeconfig export KUBECONFIG/etc/rancher/k3s/k3s.yaml # 安装服务 cd /home/EulerCopilot/euler-copilot-helm/chart helm install -n euler-copilot service .验证部署状态kubectl -n euler-copilot get pods所有Pod状态应为Running包括framework-deploy-servicemysql-deploy-servicepgsql-deploy-servicerag-deploy-serviceredis-deploy-servicevectorize-deploy-serviceweb-deploy-service 数据库配置与初始化PostgreSQL向量数据库配置# 进入PostgreSQL容器 kubectl -n euler-copilot exec -it pgsql-deploy-service-86b4dc4899-ppltc -- bash # 创建扩展 psql -U postgres -d postgres CREATE EXTENSION zhparser; CREATE EXTENSION vector; CREATE TEXT SEARCH CONFIGURATION zhparser (PARSER zhparser); ALTER TEXT SEARCH CONFIGURATION zhparser ADD MAPPING FOR n,v,a,i,e,l WITH simple; 用户认证配置创建登录账户# 生成加密密码 python3 import hashlib hashlib.sha256(your_password.encode(utf-8)).hexdigest() # 插入用户到数据库 kubectl -n euler-copilot exec -it mysql-deploy-service-c7857c7c9-wz9gn -- bash mysql -uroot -p8ZMTsY4dgWZqoM6 use euler_copilot; insert into user(user_sub, passwd) values (username, encrypted_password); 访问与使用Web界面访问在浏览器中输入https://服务器IP:8080首次登录需要输入刚才创建的账号密码然后您就可以开始使用EulerCopilot的智能问答功能了构建专属知识库EulerCopilot支持构建特定领域的知识库修改values.yaml配置设置pg镜像为pg-data更新knowledgebaseID配置为您的专属标识部署更新执行helm upgrade -n euler-copilot service .上传语料通过Web界面上传您的专属文档️ 故障排除与优化常见问题解决Pod状态异常检查资源限制和镜像拉取网络连接问题验证防火墙和网络配置模型加载失败确认GPU/NPU驱动和CUDA版本数据库连接错误检查数据库服务状态和配置性能优化建议GPU优化调整gpu-memory-utilization参数批处理合理设置max_tokens和批处理大小缓存策略优化Redis缓存配置负载均衡根据实际负载调整副本数量 监控与维护服务监控# 查看Pod状态 kubectl -n euler-copilot get pods -o wide # 查看服务日志 kubectl -n euler-copilot logs -f rag-deploy-service # 资源使用情况 kubectl -n euler-copilot top pods定期维护日志清理定期清理过期的日志文件备份恢复定期备份数据库和配置文件版本升级关注项目更新及时升级版本安全更新定期更新系统和依赖包 开始您的智能问答之旅通过本指南您已经成功在GPU或NPU环境下部署了EulerCopilot智能助手现在您可以提问系统问题关于openEuler的各种技术问题性能优化咨询获取系统调优建议故障诊断分析系统问题并提供解决方案知识管理构建您团队的专属知识库EulerCopilot将持续为您提供智能化的系统运维支持让复杂的技术问题变得简单易懂记得定期查看官方文档获取最新功能和更新信息探索AI功能源码深入了解其工作原理。祝您使用愉快【免费下载链接】EulerCopilotAn intelligent assistant who can answer your question and help you solve many system problems such as performance optimization and so on. Further more, all you need is talking to EulerCopilot in natural language.项目地址: https://gitcode.com/openeuler/EulerCopilot创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考