AMD 显卡跑大模型,ROCm 7.x 环境配置避坑实录 从零开始Ubuntu 下 ROCm 7.x 环境初始化实录最近入手了一块 AMD Instinct GPU本想直接跑个大模型试试水结果在环境配置这一步就卡了大半天。ROCm 生态虽然进步神速但文档里那些“理所当然”的步骤对新手来说往往就是一个个隐蔽的坑。特别是从系统初始化到驱动验证这一套流程只要有一个权限没给对或者编译器版本不匹配后续所有编译都会报错。今天就把我这次踩坑后总结出的“保姆级”初始化流程记录下来希望能帮同样刚上车的开发者少走弯路。系统用户组与权限陷阱拿到新机器第一件事不是急着装驱动而是检查用户权限。这是最容易被忽略的一步。ROCm 驱动安装后普通用户默认是没有权限直接访问 GPU 设备的如果不提前配置后续运行rocm-smi或启动推理服务时就会频频遇到Permission denied的错误。在 Ubuntu 22.04 或更新版本上执行以下命令将当前用户加入video和render用户组sudo usermod -aG video,render $USER注意执行完这条命令后必须重启系统才能生效。很多教程只提了命令没强调重启导致很多人配完觉得没问题一跑代码就崩最后查半天发现是组权限没加载。重启后可以用groups $USER确认一下输出里是否包含了这两个组。工具链版本GCC 的“爱恨情仇”ROCm 7.x 对编译器版本比较挑剔。虽然新版号称兼容性更好但在实际源码编译 PyTorch 或 vLLM 时如果 GCC 版本过高比如 Ubuntu 24.04 默认的 GCC 13或过低都可能导致链接错误甚至生成无法运行的二进制文件。目前经过社区大量验证GCC 11是最稳妥的选择。检查当前版本gcc --version如果版本不对不要直接卸载系统默认编译器建议使用update-alternatives进行切换。例如安装 gcc-11 并切换sudo apt install gcc-11 g-11 sudo update-alternatives --install /usr/bin/gcc gcc /usr/bin/gcc-11 100 sudo update-alternatives --install /usr/bin/g g /usr/bin/g-11 100切换完成后再次运行gcc --version确认指向正确。这一步看似简单却是解决后续无数undefined reference报错的关键前置条件。同时确保 CMake 版本在 3.20 以上Git 保持最新以便顺利克隆大型仓库。驱动安装与核心验证环境打扫干净后就可以添加官方 ROCm 软件源并安装驱动了。强烈建议直接使用官方源避免使用第三方打包的版本以免内核模块不匹配。安装完成后别急着跑深度学习框架先用原生工具验证硬件状态。首先运行rocm-smi这是一个类似 NVIDIAnvidia-smi的工具。如果配置正确你应该能看到清晰的表格列出所有 GPU 的温度、功耗、显存使用率和频率策略 ROCm System Management Interface Concise Info Device [Model : Revision] Temp Power Partitions SCLK MCLK Fan Perf PwrCap VRAM% GPU% Name (20 chars) (Junction) (Socket) (Mem, Compute) (MHz) (MHz) 0 [0x74a1 : 0x00] 45.0°C 65.0W NPS1, SPX 1300 900 0% auto 300.0W 2% 0% AMD Instinct MI300X End of ROCm SMI Log 如果能看到类似上面的输出说明内核态驱动工作正常。接下来是更关键的架构确认。运行rocminfo它会输出详细的硬件信息。你需要重点关注Agent Name和Machine Model部分找到你的 GPU 架构代码如gfx942对应 MI300 系列。这个架构代码至关重要后续编译 PyTorch 或设置环境变量PYTORCH_ROCM_ARCH时必须填入这个准确的代码。填错了会导致编译出的程序在当前 CPU/GPU 上抛出 Illegal instruction 错误且很难排查。最后验证 HIP 编译器是否就绪。尝试编译一个简单的 HIP Demo 或者直接运行hipcc --version如果能正常输出版本信息且没有报缺少库文件的错误恭喜你的基础环境已经搭建成功。这时候再去安装 PyTorch 或部署 vLLM成功率会高得多。折腾完这一套虽然花了不少时间但看着rocm-smi里跳动的数据心里总算踏实了。环境配好了接下来就是大展身手的时候。如果你也想体验 AMD 显卡在大模型推理上的性价比但手头暂时没有硬件资源不妨先利用云端算力练练手。200 小时 GPU 算力已就位快来领取https://marketing.csdn.net/questions/Q2604140858304426315?utm_sourceAIpaper