Unix深度学习环境搭建与包管理实战
|
Unix系统(如Linux、macOS)因其稳定性和强大的命令行工具链,成为深度学习开发的主流平台。搭建高效、可复用的环境,关键在于合理分层:底层系统依赖、Python运行时、科学计算栈与深度学习框架,以及项目级隔离机制。 系统级依赖需提前安装。以Ubuntu为例,执行sudo apt update && sudo apt install -y build-essential curl git python3-dev python3-pip libssl-dev libffi-dev,确保编译工具链和Python头文件就绪;NVIDIA GPU用户还需安装对应版本的CUDA Toolkit与cuDNN,并验证nvidia-smi与nvcc命令可用。macOS用户则通过Homebrew安装openblas、llvm等基础库,避免pip编译时链接失败。 强烈推荐跳过系统自带Python,使用pyenv统一管理多版本解释器。curl https://pyenv.run | bash后配置shell环境变量,再执行pyenv install 3.10.14 && pyenv global 3.10.14。此举规避系统Python被意外修改的风险,且支持按项目切换Python版本——例如某旧模型需PyTorch 1.12,而新项目需PyTorch 2.3,仅需在对应目录运行pyenv local 3.9.18即可。 pip是基础但易被低估的包管理器。务必升级至最新版:python -m pip install --upgrade pip。安装时优先使用--no-cache-dir减少磁盘占用,对大型包如torch添加-i https://pypi.tuna.tsinghua.edu.cn/simple/加速国内下载。避免全局安装:所有项目均应在虚拟环境中操作,python -m venv .venv && source .venv/bin/activate后,pip install仅影响当前沙盒。
AI生成内容图,仅供参考 conda在跨平台依赖(如OpenCV、HDF5)处理上更具优势,尤其适合混合C++扩展的库。Miniconda轻量安装后,创建环境conda create -n dl-env python=3.10,再通过conda install pytorch torchvision torchaudio cpuonly -c pytorch(或cuda版本)一键解决二进制兼容问题。注意:不建议混用pip与conda安装同一环境中的核心包,以防冲突;若必须混合,先conda后pip,并用pip install --no-deps绕过依赖重装。项目级依赖应显式固化。在项目根目录编写requirements.txt(pip导出)或environment.yml(conda导出),并加入版本号锁定:torch==2.3.0+cu121。使用pip install -r requirements.txt部署时,可加--user参数避免权限问题;conda env create -f environment.yml则能完整重建环境。定期运行pip list --outdated检查更新,但生产环境升级前务必在测试分支验证模型训练收敛性。 善用shell别名简化高频操作。例如alias dl-activate='source .venv/bin/activate && pip list | grep torch',或为常用conda环境设置dl-cpu/dl-gpu快捷入口。环境不是一次配置终身无忧,而是随模型演进持续迭代的过程——每次新增依赖都应同步更新声明文件,让“在我机器上能跑”变成可复现的工程实践。 (编辑:云计算网_梅州站长网) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |


浙公网安备 33038102330479号