文章目录1. 课前导读1.1 本节课学习目标1.2 知识重难点1.3 学习前置条件1.4 学完可掌握能力1.5 行业应用场景2. 核心理论精讲2.1 为什么需要虚拟环境2.2 Conda vs. Pip vs. Virtualenv2.3 Conda 环境隔离底层原理2.4 镜像源配置逻辑2.5 环境导出与可复现性3. 环境搭建与工具配置3.1 下载与安装Anaconda3.2 验证安装3.3 配置镜像源清华源为例3.4 更新Conda自身与基础环境4. 代码实战教学4.1 创建与管理虚拟环境4.1.1 创建新环境指定Python版本4.1.2 激活与退出环境4.1.3 列出所有环境4.1.4 删除环境4.1.5 克隆环境4.2 在环境中安装包4.2.1 使用 conda 安装4.2.2 使用 pip 安装在conda环境中4.2.3 批量安装 requirements.txt4.3 环境导出与重建4.3.1 导出完整环境含构建哈希4.3.2 导出跨平台友好环境无构建号4.3.3 从 yml 文件重建环境4.3.4 使用 requirements.txt 配合 conda4.4 镜像源的高级配置4.4.1 优先级设置4.4.2 禁用默认源4.4.3 每个环境单独配置源4.5 包缓存管理5. 案例实操演练5.1 需求5.2 步骤5.2.1 创建环境A5.2.2 创建环境BGPU版本旧版TensorFlow5.2.3 创建环境CPyTorch5.2.4 导出环境A供团队复现5.2.5 环境切换测试5.3 镜像源配置对安装速度的影响实验6. 常见坑点与排错总结6.1 环境激活失败6.2 安装包时Solving environment长时间卡住6.3 混合使用conda与pip导致冲突6.4 环境导出与重建错误6.5 磁盘空间与缓存7. 知识点总结 课后作业7.1 核心知识点梳理7.2 基础作业7.3 进阶实操作业7.4 思考拓展题《TensorFlow2.x: 深度学习入门到高阶实战教程》系列课程导航1. 课前导读1.1 本节课学习目标理解Anaconda在深度学习开发中的作用环境隔离、依赖管理、跨平台一致性。掌握Conda的核心操作创建、激活、退出、删除虚拟环境。学会配置国内镜像源清华、中科大等加速包下载解决网络超时问题。熟练使用conda install与pip install的适用场景避免混合安装带来的依赖冲突。掌握环境导出environment.yml/requirements.txt与重建实现项目可复现性。能够在一个机器上同时维护多个TensorFlow版本如2.13、2.10并进行切换测试。1.2 知识重难点类别内容重点Conda虚拟环境的完整生命周期管理镜像源配置与优先级环境导出与克隆难点Conda与Pip混合使用时的依赖解析冲突Conda底层二进制依赖与PyPI包的兼容性environment.yml中的channels与pip字段协同工作易混淆点conda listvspip listbase环境与自定义环境的区别conda env exportvsconda env export --no-builds1.3 学习前置条件已完成Python 3.9安装第1课或直接使用本课安装的Anaconda。拥有管理员/普通用户权限安装软件。了解基本的命令行操作cd,ls/dir,path概念。1.4 学完可掌握能力能够为不同项目例如TensorFlow 2.x旧版本测试、PyTorch项目、JAX实验创建独立的Conda环境互不干扰。在任何网络受限环境下通过镜像源快速安装深度学习依赖库。将项目环境配置导出供队友或生产环境一键复现。解决常见的ResolvePackageNotFound、Solving environment: failed等环境问题。在同一个操作系统上管理CPU与GPU版本的TensorFlow环境按需激活。1.5 行业应用场景团队协作通过environment.yml统一开发环境避免“在我电脑上能跑”的问题。模型复现论文源码常提供环境配置文件一键复现实验环境。多框架测试同一台服务器上需要同时支持TensorFlow、PyTorch、MXNet时环境隔离是基础。CI/CD流水线自动化测试中创建临时环境运行单元测试完成后销毁。云端Notebook如Google Colab、阿里云DSW等本质也是预置了Conda环境管理。2. 核心理论精讲2.1 为什么需要虚拟环境Python项目的依赖问题普遍存在项目A需要TensorFlow 2.13项目B需要TensorFlow 2.10且不兼容新版API。全局安装numpy版本为1.21但某个库要求≥1.24。不同操作系统上二进制包如pyarrow、opencv预编译版本不同。虚拟环境为每个项目创建独立的Python解释器及包目录隔离依赖。Anaconda在此基础上额外提供了Conda包管理器不仅管理Python包还可以安装非Python的二进制依赖如CUDA工具包、OpenMP、HDF5。预编译的科学计算库MKLIntel数学核心库优化使得NumPy、SciPy等开箱即快。跨平台一致性Windows/Linux/macOS上命令统一。2.2 Conda vs. Pip vs. Virtualenv工具环境隔离管理非Python库预编译二进制依赖解析官方源速度国内Conda✅ (独立解释器)✅✅较强但有时较慢较慢需镜像Pip Virtualenv✅ (独立解释器)❌ 只能Python包部分( wheels)较弱可能冲突可配置镜像Pipenv✅❌❌锁文件机制依赖pypi源Poetry✅❌❌较完善依赖pypi源在实际深度学习中Conda管理环境Conda安装可用的预编译包如cudatoolkit、cudnn剩余PyPI专属包用pip安装是业界主流实践。2.3 Conda 环境隔离底层原理Conda在envs目录下为每个环境创建独立文件夹内部包含bin/(Linux/macOS) 或Scripts/(Windows)可执行文件及Python解释器软链接。lib/pythonX.X/site-packages/该环境的Python包。conda-meta/记录已安装包的元数据。当执行conda activate env_name时Conda修改环境变量PATH将该环境的bin目录置于系统路径最前同时设置CONDA_DEFAULT_ENV、CONDA_PREFIX等变量从而让后续python、pip命令指向该环境。2.4 镜像源配置逻辑默认Conda官方源https://repo.anaconda.com/pkgs/位于国外国内访问极慢且易断连。镜像站如清华TUNA同步官方源提供国内高速通道。配置镜像源后Conda会优先从镜像索引降低超时概率。配置涉及三个层级系统级/etc/conda/.condarc需管理员权限用户级~/.condarc推荐当前用户生效环境级环境激活时的环境变量覆盖。常用镜像源清华https://mirrors.tuna.tsinghua.edu.cn/anaconda/中科大https://mirrors.ustc.edu.cn/anaconda/阿里云https://mirrors.aliyun.com/anaconda/注意事项镜像站可能不完全同步所有包若遇到404可临时恢复默认源或换源。2.5 环境导出与可复现性conda env export environment.yml导出包含所有包包括通过pip安装的的精确版本和构建哈希。适合完全复现但跨平台兼容性差不同OS的构建号不同。conda env export --no-builds environment.yml只记录包名和版本去掉构建号跨平台友好但可能引入细微差异。pip freeze requirements.txt仅导出pip安装的包常用于配合Conda环境使用。最佳实践项目中同时维护environment.ymlconda包含渠道和requirements.txt纯pip包或使用environment.yml中的pip字段统一管理。3. 环境搭建与工具配置3.1 下载与安装AnacondaWindows访问官网 https://www.anaconda.com/download 或清华镜像 https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/ 下载最新版Anaconda3Python 3.9/3.10版本。运行.exe安装程序。勾选“Add Anaconda3 to my PATH environment variable”建议便于命令行使用。安装路径建议默认C:\Users\用户名\anaconda3避免权限问题。安装完成后打开“Anaconda Prompt (Anaconda3)”测试。macOS# 下载图形化安装包 .pkg 或使用命令行安装curl-Ohttps://repo.anaconda.com/archive/Anaconda3-2023.09-0-MacOSX-x86_64.shbashAnaconda3-2023.09-0-MacOSX-x86_64.sh# 按提示确认license、安装路径默认~/anaconda3最后选择yes将conda加入PATHLinux (Ubuntu)wgethttps://repo.anaconda.com/archive/Anaconda3-2023.09-0-Linux-x86_64.shbashAnaconda3-2023.09-0-Linux-x86_64.sh# 交互式安装同意条款默认安装到~/anaconda3source~/.bashrc# 或重新登录终端3.2 验证安装conda--version# 应输出 conda 23.x.xconda info# 显示当前配置、默认环境路径等whichpython# 应指向anaconda3/bin/python (macOS/Linux) 或 where python (Windows)3.3 配置镜像源清华源为例打开终端或Anaconda Prompt执行conda config--addchannels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/ conda config--addchannels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/ conda config--setshow_channel_urlsyes查看配置conda config --show-sources若需删除某个channelconda config--removechannels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/注意对于conda-forge等第三方渠道同样可添加镜像站对应的渠道conda config--addchannels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/3.4 更新Conda自身与基础环境conda update-nbase conda# 更新conda管理器conda update--all# 更新base环境中所有包慎用可能破坏兼容性建议保持conda版本较新但不轻易更新base环境的包依赖包在项目虚拟环境中安装。4. 代码实战教学本节所有命令均在终端/Anaconda Prompt中执行附带详细注释。4.1 创建与管理虚拟环境4.1.1 创建新环境指定Python版本# 创建一个名为 tf2.13 的环境并安装 Python 3.9conda create-ntf2.13python3.9# 确认创建输入 y 继续# 环境将保存在 anaconda3/envs/tf2.13可同时安装多个初始包conda create-ntf210python3.8numpy pandas matplotlib4.1.2 激活与退出环境# 激活环境conda activate tf2.13# 激活后命令行提示符前会显示 (tf2.13)# 查看当前Python路径whichpython# 应指向 envs/tf2.13/bin/python# 退出环境回到baseconda deactivate4.1.3 列出所有环境condaenvlist# 或conda info--envs输出示例# conda environments: # base * /home/user/anaconda3 tf2.13 /home/user/anaconda3/envs/tf2.13 tf210 /home/user/anaconda3/envs/tf2104.1.4 删除环境conda remove-ntf210--all# 或condaenvremove-ntf2104.1.5 克隆环境# 将 tf2.13 克隆为 tf2.13-backupconda create-ntf2.13-backup--clonetf2.134.2 在环境中安装包4.2.1 使用 conda 安装# 激活目标环境conda activate tf2.13# 安装 TensorFlow CPU 版本从conda-forge渠道condainstall-cconda-forgetensorflow2.13.0# 安装 GPU 版本conda会自动拉取匹配的cudatoolkit、cudnncondainstall-cconda-forge tensorflow-gpu2.13.0# 注意2.10后 tensorflow-gpu 包已废弃建议使用 tensorflow 并指定GPU依赖# 实际上 TensorFlow 2.13 的 conda 包已支持GPU检测只需安装 tensorflow 再手动安装cudatoolkitcondainstall-cconda-forgetensorflow2.13.0cudatoolkit11.8cudnn8.64.2.2 使用 pip 安装在conda环境中# 确保已激活conda环境此时pip指向该环境的pippipinstalltensorflow2.13.0注意混合使用时应优先通过conda安装可用的包剩余再用pip。若先pip后condaconda可能覆盖pip安装的包导致不一致。4.2.3 批量安装 requirements.txtpipinstall-rrequirements.txt4.3 环境导出与重建4.3.1 导出完整环境含构建哈希conda activate tf2.13 condaenvexportenvironment_full.yml生成的environment_full.yml片段示例name:tf2.13channels:-conda-forge-defaultsdependencies:-python3.9.16-numpy1.24.3py39h5d4884f_0-pip:-tensorflow2.13.04.3.2 导出跨平台友好环境无构建号condaenvexport--no-buildsenvironment.yml4.3.3 从 yml 文件重建环境condaenvcreate-fenvironment.yml如果只想更新现有环境condaenvupdate-fenvironment.yml-ntf2.134.3.4 使用 requirements.txt 配合 conda先创建空环境然后conda activate myenv pipinstall-rrequirements.txt但这种方式不能记录conda包。推荐做法将pip依赖写入environment.yml的pip字段实现单文件管理。4.4 镜像源的高级配置4.4.1 优先级设置Conda channels 有优先级顺序--add时越早越靠前。可以通过conda config --prepend channels或--append调整。# 将 conda-forge 设为最高优先级conda config--prependchannels conda-forge4.4.2 禁用默认源如果完全使用镜像可禁用defaults减少索引请求conda config--removechannels defaults conda config--addchannels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/4.4.3 每个环境单独配置源Conda 支持在环境目录下放置.condarc文件例如/envs/tf2.13/.condarc仅对该环境生效。优先级环境级 用户级 系统级。4.5 包缓存管理Conda 默认将下载的包缓存到pkgs/目录重复安装时无需下载。查看缓存位置conda info|greppackage cache清理缓存释放空间conda clean--all# 删除所有缓存的包、索引缓存、未使用的包5. 案例实操演练案例在同一台机器上搭建并管理三个独立环境分别用于TensorFlow 2.13 (CPU)、TensorFlow 2.10 (GPU) 和PyTorch 2.0并演示环境切换与依赖导出。5.1 需求环境A:tf2.13-cpu用于快速原型验证不需要GPU。环境B:tf2.10-gpu需要CUDA 11.2 cuDNN 8.1旧项目依赖。环境C:pytorch20PyTorch 2.0 with CUDA 11.7。5.2 步骤5.2.1 创建环境Aconda create-ntf2.13-cpupython3.9conda activate tf2.13-cpu pipinstalltensorflow2.13.0# 验证python-cimport tensorflow as tf; print(tf.__version__)5.2.2 创建环境BGPU版本旧版TensorFlowconda create-ntf2.10-gpupython3.8conda activate tf2.10-gpu# 安装cudatoolkit和cudnn匹配CUDA 11.2condainstall-cconda-forgecudatoolkit11.2cudnn8.1# 安装TensorFlow 2.10pipinstalltensorflow2.10.0# 验证GPU可用python-cimport tensorflow as tf; print(tf.config.list_physical_devices(GPU))5.2.3 创建环境CPyTorchconda create-npytorch20python3.9conda activate pytorch20# 使用PyTorch官网提供的conda命令CUDA 11.7condainstallpytorch torchvision torchaudio pytorch-cuda11.7-cpytorch-cnvidia# 验证python-cimport torch; print(torch.cuda.is_available())5.2.4 导出环境A供团队复现conda activate tf2.13-cpu condaenvexport--no-buildstf2.13-cpu_env.ymltf2.13-cpu_env.yml内容name:tf2.13-cpuchannels:-defaults-conda-forgedependencies:-python3.9-pip-pip:-tensorflow2.13.0队友可通过以下命令复现condaenvcreate-ftf2.13-cpu_env.yml5.2.5 环境切换测试编写一个简单脚本check_env.pyimportsysimportplatformprint(fPython:{sys.version})print(fPlatform:{platform.platform()})try:importtensorflowastfprint(fTensorFlow:{tf.__version__})print(fGPU devices:{tf.config.list_physical_devices(GPU)})exceptImportError:print(TensorFlow not installed)在三个环境中依次运行conda activate tf2.13-cpu python check_env.py conda activate tf2.10-gpu python check_env.py conda activate pytorch20 python check_env.py观察输出差异验证环境隔离性。5.3 镜像源配置对安装速度的影响实验对比场景未配置镜像源 vs 配置清华源安装numpy和pandas。# 临时关闭镜像源备份.condarcmv~/.condarc ~/.condarc.baktimeconda create-ntest_defaultpython3.9numpy pandas-y# 恢复镜像源mv~/.condarc.bak ~/.condarctimeconda create-ntest_mirrorpython3.9numpy pandas-y一般镜像源速度可提升5~10倍。6. 常见坑点与排错总结6.1 环境激活失败坑1CommandNotFoundError: Your shell has not been properly configured to use conda activate。原因未初始化conda的shell功能多见于Linux/Mac使用/bin/sh而非bash/zsh。解决执行conda init然后重启终端。或使用source activate env_name老式。坑2Windows下conda activate无效提示无此命令。原因未将Anaconda的Scripts目录加入PATH或使用了普通cmd而非Anaconda Prompt。解决使用“Anaconda Prompt”快捷方式或手动执行C:\Users\user\anaconda3\Scripts\activate。6.2 安装包时Solving environment长时间卡住坑3Solving environment: failed with initial frozen solve. Retrying with flexible solve.无限循环。原因conda依赖解析器尝试了大量组合尤其当混合conda和pip包后环境复杂。解决使用conda install -c conda-forge package --solverlibmamba安装mamba提升速度。或直接换用mamba工具conda install mamba -n base -c conda-forge然后mamba install ...。优先创建新环境不要试图在已有复杂环境中解决冲突。坑4HTTP 404错误。原因镜像站未同步该包或版本。解决临时移除镜像源conda config --remove-key channels安装后再恢复。6.3 混合使用conda与pip导致冲突坑5用pip安装了包A然后用conda安装了依赖A的包B导致A运行时找不到动态链接库。原因conda安装的包可能会降级或替换pip安装的包甚至改变Python路径。最佳实践先conda安装所有能装的再用pip安装剩余包。使用conda create --use-local等策略但更推荐在environment.yml中明确区分。运行conda list查看包来源pypi标记为pip安装。6.4 环境导出与重建错误坑6ResolvePackageNotFound错误在重建环境时。原因导出的yml中包含了特定平台的构建包如py39h5d4884f_0在另一平台不存在。解决使用--no-builds导出或手动删除yml中依赖项的xxx之后的构建字符串。坑7conda env create时提示found conflicts。原因指定的python版本与其他包冲突。解决在yml中明确指定python3.9或尝试放宽版本约束。6.5 磁盘空间与缓存坑8Conda占用大量磁盘空间几十GB。原因pkgs/缓存了所有历史下载的包环境删除后不会自动清理。解决定期执行conda clean --all或设置conda config --set auto_clean true。7. 知识点总结 课后作业7.1 核心知识点梳理Anaconda作用提供预编译的科学计算环境简化包管理支持虚拟环境隔离。环境管理命令create,activate,deactivate,remove,clone,env list。镜像源配置.condarc文件conda config --add channelsshow_channel_urls。安装包方式conda install(推荐二进制依赖) 和pip install(PyPI专有包) 合理分工。环境导出conda env export生成 yml--no-builds提高跨平台性。最佳实践每个项目独立环境优先conda再pip维护环境文件可复现。7.2 基础作业在自己的机器上安装Anaconda配置清华镜像源创建一个名为tf_test的环境Python版本3.9并安装jupyter和matplotlib。导出该环境为tf_test.yml然后删除环境再通过yml文件重建确认jupyter命令可用。在tf_test环境中分别使用conda list和pip list观察输出差异。7.3 进阶实操作业任务构建一个复现论文环境从GitHub上选择一个带有environment.yml或requirements.txt的深度学习项目例如经典DCGAN实现。完成以下操作使用conda env create -f environment.yml创建环境。如果失败分析原因并手动修复例如修改Python版本或更换镜像源。在环境内成功运行项目代码确保无导入错误。将修复后的environment.yml文件重新导出并添加注释说明修改点。7.4 思考拓展题Conda的environment.yml中的channels字段顺序对依赖解析有何影响结合conda config --show解释优先级作用。为什么建议在深度学习中优先使用conda安装cudatoolkit和cudnn而不是手动安装系统级CUDA它们如何协同工作设计一个脚本可以自动创建新环境、激活、安装给定列表的包通过参数传入并执行一个测试脚本最后输出环境信息。要求使用argparse模块并支持通过--use-mirror切换镜像源。下一课预告TensorFlow 2.x极简安装——我们将深入讲解在不同操作系统上安装TensorFlow的完整流程包括CPU/GPU版本的选型、CUDA与cuDNN的手动配置、环境校验以及第一个深度学习模型的前向传播测试。《TensorFlow2.x: 深度学习入门到高阶实战教程》系列课程导航去订阅第一部分基础入门1-10 课第二部分神经网络核心11-25 课第三部分进阶网络与框架高阶26-40 课第四部分企业实战与项目落地41-50 课 感谢您耐心阅读到这里 如果本文对您有所启发欢迎 点赞 收藏 分享给更多需要的伙伴。️ 期待在评论区看到您的想法, 共同进步。 关注我持续获取更多干货内容 我们下篇文章见
