深度学习环境配置指南!(Windows、Mac、Ubuntu全讲解)
仅用于站内搜索,没有排版格式,具体信息请跳转上方微信公众号内链接
点击上方“小白学视觉”,选择加”星标”或“置顶”
重磅干货,第一时间送达
入门深度学习,很多人经历了从入门到放弃的心酸历程,且千军万马倒在了入门第一道关卡:环境配置问题。俗话说,环境配不对,学习两行泪。
如果你正在面临配置环境的痛苦,不管你是Windows用户、Ubuntu用户还是苹果死忠粉,这篇文章都是为你量身定制的。接下来就依次讲下Windows、Mac和Ubuntu的深度学习环境配置问题。
一、Windows系统深度学习环境配置
系统:Win1064位操作系统
安装组合:Anaconda+PyTorch(GPU版)+GTX1060
开源贡献:伍天舟,内蒙古农业大学
1、condacreate-npytorchpython=3.7.0:创建名为pytorch的虚拟环境,并为该环境安装python=3.7。
2、activatepytorch:激活名为pytorch的环境
1.2确定硬件支持的CUDA版本
NVIDIA控制面板-帮助-系统信息-组件
2020年5月19日16:46:31,我更新了显卡驱动,看到我的cuda支持11以内的
1.3确定pytorch版本,torchvision版本
进入pytorch官网:https ://pytorch.org/get-started/locally/
因为官方源太慢了,这里使用清华源下载
1.4镜像中下载对应的安装包
清华镜像:
https ://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/win-64/
pytorch:
torchvision:
1.5本地安装
接着第一步,在pytorch环境下进行安装,依次输入如下指令。
然后回到虚拟环境所在目录,用condainstallanaconda安装环境所需的基础包
1.6测试
代码1:
fromfutureimportprint_functionimporttorchx=torch.rand(5,3)print(x)
输出类似于以下的张量:
代码2:
importtorchtorch.cuda.is_available()
输出:True
如果以上两段代码输出无异常,表明环境搭建成功。
1.7遇到的问题
用下面命令创建虚拟环境报错
condacreate-npy37_torch131python=3.7
【解决方法】https ://blog.csdn.net/weixin_42329133/article/details/102640763
环境会保存在Anaconda目录下的envs文件夹内
PackagesNotFoundError:Thefollowingpackagesarenotavailablefromcurrentchannels
【解决方法】:
https ://www.cnblogs.com/hellojiaojiao/p/10790273.html
conda下载太慢问题
【解决方案】https ://mirror.tuna.tsinghua.edu.cn/help/anaconda/
我直呼一声清华NB!
cuda安装
cuda历史版本下载:https ://developer.nvidia.com/cuda-toolkit-archive
要看NVIDIA的组件,自己的CUDA支持哪个版本,我是1060显卡,所以我下的10.0版本的cuda
pytorch安装
官网没有我的组合,我满脸问号
这里我直接(别忘了先进入刚创建的环境)
condainstallpytorchtorchvisioncudatoolkit=10.0-cpytorch
jupyternote如何进入虚拟环境
python-mipykernelinstall–name虚拟环境名
1.打开AnacondaPrompt,输入condaenvlist查看现有环境
2.输入activatename(name是你想切换的环境)
3.condainstallipykernel安装必要插件
4.python-mipykernelinstall–nameName将环境添加到Jyputer中(Name是此环境显示在Jyputer中的名称,可自定义)
删除内核
jupyterkernelspecremove内核名称
报错[Errono13]
[Errno13]Permissiondenied:‘/usr/local/share/jupyter’
为此,需要添加–user选项,将配置文件生成在本账户的家目录下。
python-mipykernelinstall–user–namepy27-caffe-notebook
至此,添加kernel完成。查看已有的kernel:
jupyterkernelspeclist
删除已有的kernel
jupyterkernelspecremovekernelname
以上的命令删除仅仅是配置文件,并没有卸载相应虚拟环境的ipykernel,因此若要再次安装相应python虚拟环境的kernel,只需激活虚拟环境,然后
python-mipykernelinstall–namekernelname
conda安装一半总失败
把文件下载到本地,进入该文件的目录,然后用命令
condainstall–offline包名
二、Mac深度学习环境配置
安装组合:Anaconda+PyTorch(GPU版)
开源贡献:马曾欧,伦敦大学
2.1安装Anaconda
Anaconda的安装有两种方式,这里仅介绍一种最直观的-macOSgraphicalinstall。
2.2确认下载情况
在Mac的Terminal里,输入
python–version
确保安装的Python是3.x版本。在Terminal输入
jupyternotebook
弹出网页,即可进入notebook。
在网页右上角点击Quit,或返回Terminal,command+c,退出notebook。
2.2.1常见问题
如果电脑中下载了多个Anaconda,运行时可能出现冲突。在Terminal中输入
cd~
返回home目录,输入
cat.bash_profile
如果只能看到一个Anaconda版本就没有问题。如果有多个则下载包时有可能
造成一定的冲突。用vim、nano或其他文本编辑器把旧版本Anaconda的
exportPATH=…
删除。
2.3虚拟环境和包的下载
用conda去创建虚拟环境和下载对应的包是很简单的一件事。
2.3.1Graphic
输入环境名称和python的版本,点击create进行创建。
之后在Home页面,确保左上角指向的是你刚刚创建的环境名,在这个环境下installjupyternotebook,注意原本装的notebook是在base里的,不可通用。
回到Environments中,可以看到在此环境中的所有包,左上方选择All,然后输入想要下载的包名
然后选中进行下载
2.3.2CommandLine
用commandline完成以上的操作也很简洁。这次以Pytorch为例。在Terminal中输入
condacreate–nameenv_name
就可以创建一个虚拟环境,叫“env_name”。输入
condaenvlist
即可看到创建了的所有虚拟环境,其中打*的就是当前环境。输入
condaactivateenv_name
进入环境
condadeactivate
退出当前虚拟环境,进入base。
2.3.3下载Pytorch
一般情况下Mac是不支持CUDA的。进入https ://pytorch.org/可以看到
pytorch官网显示当前设备应该用的下载语句。此情况,我的是
condainstallpytorchtorchvision-cpytorch
复制下来,粘贴到Terminal中运行就可以开始下载了。
下载完成后,在Terminal输入
python3
之后import两个刚下载的包,确认下载完成
importtorchimporttorchvisionprint(torch.version)print(torchvision.version)
如果import和输出正常,配置就完成了!输入
quit()
就ok了。
2.4额外情况
国内如果直接用conda下载,可能会很慢。可以换下载源进行加速。换源方法可参考下列资料中的Linux部分:https ://zhuanlan.zhihu.com/p/87123943。
conda下载中常会出现“Solvingenvironment:failed…”的问题,如果正常创建虚拟环境,这位问题应该就是没有问题的,如果还发生,可以再创建一个虚拟环境。
conda的社群很大,基本上遇到的问题很有可能有人遇到、有人解答,Google会是一个很好的解决办法。
三、Ubuntu深度学习环境配置
安装组合:Anaconda+PyTorch(CPU版)或PyTorch(GPU版)
开源贡献:陈信达,华北电力大学
3.1Anacond安装
Anaconda和Python版本是对应的,所以需要选择安装对应Python2.7版本的还是Python3.7版本或其他版本的,根据自己的需要下载合适的安装包。
下载链接:https ://www.anaconda.com/download/#linux
点击下面的64-Bit(x86)Installer(522MB),下载64位的版本。
下载完后的文件名是:Anaconda3-2020.02-Linux-x86_64.sh。
cd到Anaconda3-2020.02-Linux-x86_64.sh所在的目录:
执行bashAnaconda3-2020.02-Linux-x86_64.sh开始安装:
一直按回车直到如下界面,然后输入yes:
这里直接回车安装到默认路径,或者在>>>后输入自定义路径
等待安装进度条走完,然后出现下面的提示,yes是加入环境变量,no是不加入环境变量,这里我们以输入no为例
接下来手动加入环境变量,先cd到~,然后编辑.bashrc文件:sudovim.bashrc
在最下面添加如下几行(注意.后有空格):
然后按esc+:+wq!保存
输入source.bashrc来执行刚修改的初始化文档
下面输入condaenvlist来试试环境变量是否设置成功:
试试刚刚设置的使用内置python的命令:python2、python3
如果到这就结束的话,大家安装包的时候肯定会无比煎熬~这里需要将anaconda换一下源(加入清华源):
然后我们创建一个名为pytorch的虚拟环境,发现报了下面的错误:
原因是我们没有清除上次安装留下来的源,输入sudovim.condarc,修改该文件的内容(记得删除default那行):
然后输入source.condarc,再次创建虚拟环境:
打开pytorch官网:https ://pytorch.org/
激活刚刚创建的虚拟环境:condaactivatepytorch在安装之前先添加下面这个源:
condaconfig–addchannelshttps ://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch
然后输入下面代码:
condainstallpytorchtorchvisioncpuonly-cpytorch
等到安装好后测试一下是否安装完成:
importtorchprint(torch.version)
输出如下则安装成功:
执行命令:’ubuntu-driversdevices’
大家可以看到,这里有个设备是GTX1050。推荐安装驱动是440。
安装所有推荐驱动
sudoubuntu-driversautoinstall
安装一个驱动
sudoaptinstallnvidia-440
cuda安装需要对应合适的显卡驱动。下面是驱动和cuda的版本对应关系
cuda下载链接:http ://suo.im/6dY8rL
InstallerType选择第一第二个都可。但是要在获得cuda文件后先检测gcc版本。下面以第一个runfile(local)安装方式为例。
linux一般会自带了gcc,我们先检测一下自己系统的gcc版本
gcc–version
而cuda的gcc依赖版本在官方文档的安装指南上会给出
如果版本和cuda依赖gcc不对应,就安装cuda需要的版本
sudoapt-getinstallgcc-7.0sudoapt-getinstallg++-7.0
安装完成后需要更换系统gcc版本
选择需要的版本
输入前面显示的编号即可。
sudoshcuda_你的版本_linux.run
sudovim~/.bashrc
将下面的命令复制进去
检查是否安装成功
nvcc-V
https ://developer.nvidia.com/cudnn选择对应cuda的版本即可
然后将cudnn解压后的include和lib64文件夹复制到cuda中
conda安装:
#选择自己对应的cuda版本condainstallpytorchtorchvisioncudatoolkit=10.2
pip安装:
pipinstalltorchtorchvision-ihttps ://pypi.mirrors.ustc.edu.cn/simple
四、写在最后
所有的深度学习环境安装指南到这里就结束了,希望能解决你面临的环境配置难题。关于实践项目,可以结合阿里天池的学习赛进行动手实践。
数据挖掘学习赛(进行中,5832人参与)
https ://tianchi.aliyun.com/competition/entrance/231784/forum
cv实践学习赛(进行中,1933参与)
https ://tianchi.aliyun.com/competition/entrance/531795/forum
nlp实践学习赛(进行中,573人参与)
https ://tianchi.aliyun.com/competition/entrance/531810/forum
下载1:OpenCV-Contrib扩展模块中文版教程
在「小白学视觉」公众号后台回复:扩展模块中文教程,即可下载全网第一份OpenCV扩展模块教程中文版,涵盖扩展模块安装、SFM算法、立体视觉、目标跟踪、生物视觉、超分辨率处理等二十多章内容。
下载2:Python视觉实战项目52讲
在「小白学视觉」公众号后台回复:Python视觉实战项目,即可下载包括图像分割、口罩检测、车道线检测、车辆计数、添加眼线、车牌识别、字符识别、情绪检测、文本内容提取、面部识别等31个视觉实战项目,助力快速学校计算机视觉。
下载3:OpenCV实战项目20讲
在「小白学视觉」公众号后台回复:OpenCV实战项目20讲,即可下载含有20个基于OpenCV实现20个实战项目,实现OpenCV学习进阶。
交流群
欢迎加入公众号读者群一起和同行交流,目前有SLAM、三维视觉、传感器、自动驾驶、计算摄影、检测、分割、识别、医学影像、GAN、算法竞赛等微信群(以后会逐渐细分),请扫描下面微信号加群,备注:”昵称+学校/公司+研究方向“,例如:”张三+上海交大+视觉SLAM“。请按照格式备注,否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告,否则会请出群,谢谢理解~