在ollama下部署DeepSeek-r1模型(linux机器)
1.ollama部署参照写文章-CSDN创作中心2.ollama官网https://ollama.com/download/linux上点击Models选择deepseek-r1不同版本对应的体积大小不同体积越大模型越精细化使用命令执行ollama run deepseek-r1:7b上面的命令由于网络太卡导致一直下载不下来因此使用离线的安装方法进行安装DeepSeek-R1-Distill-Qwen-7B-GGUF · 模型库在存放.gguf文件的目录下创建一个名为Modelfile的文件无后缀内容如下vimModelfileFROM ./DeepSeek-R1-Distill-Qwen-7B-Q4_K_M.gguf注意将文件名替换为你实际下载的文件名。导入模型在终端执行以下命令将本地文件注册到 Ollamaollama create deepseek-r1:7b -f Modelfile运行模型导入成功后即可离线运行ollama run deepseek-r1:7b3.配置deepseek可视化界面yum install -y dos2unixyum install -y wget下载InstallDocker.sh · 开心果111号/RockyLinuxInstallFiles - 码云 - 开源中国和InstallDockerCompose.sh · 开心果111号/RockyLinuxInstallFiles - 码云 - 开源中国这两个文件然后完成docker和docker compose的安装#安装dockerchmod x ./InstallDocker.shdos2unix InstallDocker.sh./InstallDocker.sh 26.* 192.168.40.160#安装docker composechmod x ./InstallDockerCompose.shdos2unix InstallDockerCompose.sh./InstallDockerCompose.sh执行以下命令直接拉取镜像并启动容器docker run -d -p 3000:8080 -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main对接本地 Ollama 服务‌浏览器访问 http://你的服务器IP:3000首次打开会提示注册管理员账号。进入后台设置 → 模型管理在 Ollama API 地址栏填入 http://127.0.0.1:11434保存后系统会自动扫描本地已导入的 deepseek-r1:7b 模型。此时网页可能还是无法获取模型需要做如下修改sudo mkdir -p /etc/systemd/system/ollama.service.dvim /etc/systemd/system/ollama.service.d/override.conf输入[Service]EnvironmentOLLAMA_HOST0.0.0.0:11434EnvironmentOLLAMA_ORIGINS*保存退出然后再将上面的 Ollama API地址换成http://你服务器的ip:11434,保存后就可以看见模型了开始使用‌在对话页面顶部的模型下拉菜单中选择 deepseek-r1:7b即可直接在可视化界面中与 DeepSeek 模型交互。