深度学习系列-----＞环境搭建（Ubuntu）

侽紸角

1、前言电脑基础系统硬件情况：系统：ubuntu18.04、显卡：GTX1050Ti；后续的环境搭建都在此基础上进行。此次学习选择Pytorch作为深度学习的框架，选择的原因主要由于PyTorch在研究领域特别受欢迎，较多的论文框架也是基于其开发。2、anaconda+python3安装测试在学习深度学习的过程中会涉及到使用不同版本python包的问题，而anaconda可以便捷获取包且对包能够进行管理。step1：anaconda官网下载安装脚本（网址：DownloadAnacondaDistribution|Anaconda）step2：执行安装脚本：bashAnaconda3-5.1.0-Linux-x86_64.sh安装过程中遇到DoyouwishtoproceedwiththeinstallationofMicrosoftVSCode?[yes|no]，输入no就行，其他的都是yes或者直接敲enter。注：如果不需要打开Terminal窗口自动进入conda环境，可以执行命令：condaconfig--setauto_activate_basefalsestep3:anaconda安装成功测试执行命令如下命令：conda--version正常输出版本信息：conda4.4.10step4：anaconda创建虚拟环境创建名为：your_env_name的虚拟环境，python版本为3.6condacreate-nyour_env_namepython=3.6conda创建环境失败，和网络有关的问题解决：设置成离线模式：condaconfig--setofflinetrue常用指令：激活进入虚拟环境：sourceactivateyour_env_name退出虚拟环境：sourcedeactivate查看当前所有的虚拟环境：condainfo-e参考链接：Ubuntu18.04安装Anaconda(最新最全亲测图文并茂)-CSDN博客关于anaconda创建环境时出现CondaHTTPError问题的终极解决办法_linux的anaconda创建环境网络异常-CSDN博客3、nvidia-driver+cuda+cndnn安装测试安装NVIDIA驱动、cuda以及cndnn是为了学习过程中使用GPU。电脑上没有GPU也无妨，前期学习小模型时，也可以使用CPU。step1：nvidia-driver安装显卡驱动安装方式有多种，这里采用比较简单的方式，输入指令：ubuntu-driversdevices会输出所有适配当前显卡的驱动： distro为专有，non-free闭源，最好是-server结尾的安装包，这里选择了nvidia-driver-470-server安装：sudoaptinstallnvidia-driver-470-server重启系统：sudoreboot检查是否安装成功指令：nvidia-smi输出如下表示安装成功：参考：超详细!Ubuntu18.04安装NVIDIA显卡驱动|XUNGE'sBlogstep2：cuda安装cuda和cndnn的安装需要注意和显卡驱动版本对齐，在cuda官网中有对应关系（参考上图中显卡驱动和所对应的cuda版本，这里安装cuda版本是向下兼容）：1.CUDA12.6ReleaseNotes—ReleaseNotes12.6documentation确定好cuda版本后，通过runfile进行安装(https://developer.nvidia.com/cuda-toolkit-archive)：wgethttps://developer.download.nvidia.com/compute/cuda/11.4.0/local_installers/cuda_11.4.0_470.42.01_linux.runsudosh cuda_11.4.0_470.42.01_linux.run如果有协议，输入accept就行。然后到达是否选择安装显卡驱动时，要取消掉，否则会捆绑安装，后续会出问题：继续安装完成后，使用命令查看安装情况：nvcc-V如果依旧显示无相关信息，则大概率是因为环境变量没有添加，则需要打开bashrc文件，添加路径：sudogedit~/.bashrc文件中添加：exportPATH="/usr/local/cuda-11.4/binPATH"exportLD_LIBRARY_PATH="/usr/local/cuda-11.4/lib64LD_LIBRARY_PATH"最后再：source~/.bashrc参考链接：https://zhuanlan.zhihu.com/p/122286055（cuda安装）step3：cndnn安装在官网（https://developer.nvidia.com/rdp/cudnn-archive）中找到对应系统和cuda的cndnn版本，并下载如下3个文件：执行命令依次安装：sudodpkg-ilibcudnn8-xxxx_amd64.debsudodpkg-ilibcudnn8-xxxx_amd64.debsudodpkg-ilibcudnn8-xxxx_amd64.deb测试cndnn安装情况：cp-r/usr/src/cudnn_samples_v8/$HOME进入文件中进行编译：cd~/cudnn_samples_v8/mnistCUDNNsudomakecleansudomake编译完成后，执行：sudo./mnistCUDNN输出“Testpassed!”表示安装成功：参考链接：https://zhuanlan.zhihu.com/p/126997172（cndnn安装）4、pytorch+pycharmPytorch可以使用condainstall和pipinstall安装：step1：condainstall安装condainstall国内安装需要先替换源，参考：Ubuntuanaconda换源(最新最全亲测)-CSDN博客替换好后，在conda官网找到对于NVIDIA驱动版本的pytorch版本：PreviousPyTorchVersions|PyTorchcondainstallpytorch==1.8.1torchvision==0.9.1torchaudio==0.8.1cudatoolkit=11.3-cconda-forge如果替换源后使用condainstall一直还是出现源的问题，可以尝试使用pipinstall进行。step2：pipinstall安装pipinstalltorch==1.8.1torchvision==0.9.1torchaudio==0.8.1安装完成后，如果importtorch找不到对应模块，但是在piplist中又有该模块（原因是这里的pip是使用的conda的pip，直接安装到了conda的python目录下，而在个人环境中执行python命令时，使用的是环境的python路径，因而无法找到）。解决办法有如下两种：方法1：修改当前环境下site.py中pipinstall的安装路径参考：https://blog.51cto.com/u_15060549/4662570 执行指令：sudogedit/home/xxx/anaconda3/envs/torch_study/lib/python3.6/site.py修改内容（原来两个路径都为None）：USER_SITE='/home/xxx/anaconda3/envs/torch_study/lib/python3.6/site-packages'USER_BASE='/home/xxx/anaconda3/envs/torch_study'方法2：（如果方法1未能解决，则直接在安装包的时候指定安装路径到对应环境的python路径）pipinstalltorch==1.8.1torchvision==0.9.1torchaudio==0.8.1--target=/home/xxx/anaconda3/envs/torch_study/lib/python3.6/site-packagesstep3：pytorch安装成功测试打开Terminal窗口并进入到虚拟环境中，执行如下命令：pythonimporttorchdevice=torch.device('cuda'iftorch.cuda.is_available()else'cpu')print(device)输出：cuda（表示gpu可用，且环境安装成功）step4：pycharm安装测试官网下载社区版：DownloadPyCharm:ThePythonIDEfordatascienceandwebdevelopmentbyJetBrains