1. 环境准备与驱动安装刚拿到一台Linux服务器时最让人头疼的就是GPU环境配置。我见过太多人因为版本不匹配反复重装系统五六次。先别急着敲命令做好这些准备工作能省下80%的调试时间硬件检查就像买车要看发动机型号先用这条命令查清你的GPU型号lspci -nn | grep -i nvidia如果是Tesla V100会显示[10de:1db4]这样的编码前段是厂商ID后段是设备ID。记下这个编码去NVIDIA官网核对驱动兼容性。驱动选择有个血泪教训不要盲目追新去年我在A100上装了最新535驱动结果CUDA 11.7直接罢工。推荐用这个命令查看推荐驱动版本ubuntu-drivers devices输出里标着recommended的版本最稳妥。比如我的RTX 3090显示推荐510版就绝不用525版。关键依赖安装前必须装好这些基础组件sudo apt update sudo apt install -y gcc make linux-headers-$(uname -r)少一个都可能引发内核模块编译失败。上周同事没装kernel headers驱动安装直接卡在DKMS报错。驱动安装实战分三种情况在线安装适合有外网权限sudo apt install -y nvidia-driver-510离线安装企业服务器常见chmod x NVIDIA-Linux-x86_64-510.85.02.run sudo ./NVIDIA-Linux-x86_64-510.85.02.run --no-opengl-files --no-dkms记住一定要加--no-opengl-files否则可能引发图形界面崩溃。特殊场景当服务器已有旧驱动时先用这个彻底清理sudo nvidia-uninstall sudo apt purge nvidia*安装完成后用nvidia-smi验证。如果看到显卡温度和显存占用说明驱动活了。但注意这里显示的CUDA Version只是驱动支持的最高版本不是实际安装的CUDA。2. CUDA Toolkit的版本博弈CUDA版本选择就像玩俄罗斯方块既要考虑驱动支持上限又要照顾PyTorch的兼容性。我整理了这个版本对应表驱动版本支持CUDA最高版本PyTorch稳定支持470.xx11.41.8.1510.xx11.61.12.1525.xx12.02.0.0安装技巧推荐使用runfile方式安装能精确控制组件wget https://developer.download.nvidia.com/compute/cuda/11.6.2/local_installers/cuda_11.6.2_510.47.03_linux.run sudo sh cuda_11.6.2_510.47.03_linux.run安装界面一定要取消勾选Driver否则会覆盖现有驱动。只选CUDA Toolkit和文档样本就好。环境变量配置是个大坑。很多教程让你直接改/etc/profile但这会导致系统级污染。更安全的做法是用户级配置echo export PATH/usr/local/cuda-11.6/bin:$PATH ~/.bashrc echo export LD_LIBRARY_PATH/usr/local/cuda-11.6/lib64:$LD_LIBRARY_PATH ~/.bashrc source ~/.bashrc验证时别只用nvcc -V还要测试实际编译能力cd /usr/local/cuda-11.6/samples/1_Utilities/deviceQuery make ./deviceQuery如果最后显示Result PASS才算真正安装成功。3. cuDNN的隐秘操作cuDNN的安装其实是个文件搬运工但细节决定成败。以CUDA 11.6为例下载注意必须登录NVIDIA开发者账号才能下载。建议选Local Installer for Linux x86_64 (Tar)格式deb安装经常出权限问题。文件部署关键步骤tar -xzvf cudnn-linux-x86_64-8.4.1.50_cuda11.6-archive.tar.xz sudo cp cudnn-*-archive/include/cudnn*.h /usr/local/cuda-11.6/include sudo cp -P cudnn-*-archive/lib/libcudnn* /usr/local/cuda-11.6/lib64 sudo chmod ar /usr/local/cuda-11.6/include/cudnn*.h /usr/local/cuda-11.6/lib64/libcudnn*重点是这个-P参数它能保留软链接关系。去年有同事漏了这个参数导致TensorFlow找不到符号链接。版本验证别被官方文档忽悠用这个命令才靠谱cat /usr/local/cuda-11.6/include/cudnn_version.h | grep CUDNN_MAJOR -A 2输出应该是类似这样的版本信息#define CUDNN_MAJOR 8 #define CUDNN_MINOR 4 #define CUDNN_PATCHLEVEL 14. PyTorch的完美搭配来到最后一步却藏着最多坑。看这个真实案例用户装了CUDA 11.6却用conda install pytorch默认装上了CUDA 10.2的版本。版本查询先上PyTorch官网查兼容表比如2023年10月的最新对应关系PyTorch版本推荐CUDAcuDNN最低要求2.0.111.88.6.01.13.111.78.5.0安装命令一定要用官网推荐的完整命令。比如装PyTorch 2.0.1pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118注意这里用的是cu118不是cuda118写错会导致下载CPU版本。终极验证别满足于import torch不报错用这个测试套件import torch print(torch.__version__) # 应显示2.0.1cu118 print(torch.cuda.is_available()) # 必须返回True print(torch.rand(2,3).cuda()) # 实测张量计算如果最后一步报CUDA error: no kernel image is available说明你的显卡算力如sm_86和PyTorch编译版本不匹配。5. 版本降级急救指南当遇到版本冲突时别急着重装系统。先尝试这些抢救措施驱动降级示例从525降到510sudo apt purge nvidia-525* sudo apt install nvidia-driver-510 sudo rebootCUDA降级更复杂些需要手动卸载sudo /usr/local/cuda-12.0/bin/uninstall_cuda_12.0.pl sudo rm -rf /usr/local/cuda-12.0然后重新安装旧版本。注意环境变量也要相应修改。PyTorch降级最安全的方式是创建新conda环境conda create -n py38 python3.8 conda activate py38 pip install torch1.12.1cu116 -f https://download.pytorch.org/whl/torch_stable.html记住深度学习环境配置就像做化学实验精确的剂量版本控制比豪华器材更重要。做好版本记录养成写环境文档的习惯下次迁移服务器时会感谢自己的。