Google Colab现在提供免费的T4 GPU

电子说

1.3w人已加入

描述

Google Colab现在提供免费的T4 GPU。Colab是Google的一项免费云端机器学习服务,T4GPU耗能仅为70瓦,是面向现有数据中心基础设施而设计的,可加速AI训练和推理、机器学习、数据分析和虚拟桌面。

Google Colab是Google内部Jupyter Notebook的交互式Python环境,不需要在本地做多余配置,完全云端运行,存储在GoogleDrive中,可以多人共享,简直跟操作Google Sheets一样简单。之前只提供英伟达Tesla K80,现在已经支持TPU了!英伟达T4 GPU耗能仅为70瓦,是面向现有数据中心基础设施而设计的,可加速AI训练和推理、机器学习、数据分析和虚拟桌面。

机器学习

运行命令

!nvidia-smi

返回结果

机器学习

有Reddit网友表示Colab TPU比本地GTX 1080Ti的速度慢了将近2倍。

Google关于使用TPU的教程:

https://colab.research.google.com/notebooks/tpu.ipynb#scrollTo=71iSWtsXe36x

Google Colab介绍

Google Colab不需要安装配置Python,并可以在Python 2和Python 3之间快速切换,支持Google全家桶:TensorFlow、BigQuery、GoogleDrive等,支持pip安装任意自定义库,支持apt-get安装依赖。

它最大的好处是为广大的AI开发者提供了免费的GPU和TPU,供大家进行机器学习的开发和研究。GPU的型号正是Tesla K80,可以在上面轻松地跑Keras、Tensorflow、Pytorch等框架;最近新增加的TPU是英伟达T4,可以在更广阔的天地大有作为了。

当然还有一个好处:不需要前期环境配置。相信很多人对前期环境配置过程中,遇到的各种奇奇怪怪问题深有体会:Anaconda套件该选择哪个版本?路径没设置好导致Jupyter Notebook调不出来等等。而Google Colab直接配置好一个环境,即插即用。

Colab的文档使用我们最喜爱的Markdown格式,并且提供预览模式可以直接看到输出文档的最终样式。

虽然说目前为止一直免费,一次最多可以免费使用12小时。但不确定是否未来会收费。所谓早体验早享受;晚体验有可能要等折扣了。

Colab官网:

https://colab.research.google.com

预备工作

首先我们需要在Google Drive上新建一个文件夹:

然后从下拉菜单里直接进入Colab即可。

接下来需要做一些简单的配置。比如你可以选择使用Python 2或者3笔记本,然后选择硬件加速器,接下来就可以愉快的敲代码了。

或者你也可以直接wget一个共享的zip包。例如下载并解压Udacity的花朵数据:

创建/打开一个笔记本

在Colab里创建/打开笔记本很简单,直接点击新建/打开即可:

机器学习

创建的时候会提示你选择GPU或者TPU。如果你没有选,或者你想给现有的项目更换硬件加速器,那么都可以通过Edit→Notebook Settings,或者Runtime→Change rumtime type重新选择,即时生效。

机器学习

更换硬件加速器类型后,运行以下代码检查是否使用了GPU或者TPU:

from tensorflow.python.client import device_libdevice_lib.list_local_devices()

机器学习

如果返回结果中没有GPU或者TPU字样只有CPU字样,那么说明没有使用到二者。

机器学习

注意上图里的Github标签,超棒对不对!

机器学习

还有一点需要注意的是,因为Colab运行在云端,所以一定要记住随时保存,请把保存按钮当做vim里的esc来对待。

机器学习

当然也可以把文件下载到本地或者上传到云端。

库的安装和使用

Colab自带Tensorflow、Matplotlib、Numpy、Pandas等深度学习基础库,直接import即可,目前连PyTorch也能直接import了。

某些库可能需要先安装后才能使用,比如keras:

机器学习

安装PyTorch:

机器学习

除了pip,还支持apt-get。安装OpenCV:

机器学习

安装XGBoost:

机器学习

有的第三方Python库可能需要依赖Java或是其他软件才能运行,安装过程稍微复杂一点:

机器学习

注意--yes这个小操作很关键,如果没有系统可能会卡住(有兴趣的读者可以尝试一下)。其他软件也类似,注意最后加上--yes。

安装有版权的oracle-java-installer,需要有同意协议的操作:

机器学习

设置系统默认jdk:

机器学习

测试Java是否安装成功:

机器学习

2个小技巧

1. 免费用GPU

在笔记本设置中,确保硬件加速选择了GPU。检查是否真的开启了 GPU(即当前连接到了GPU实例),可以直接在Jupyter Notebook中运行以下命令:

import tensorflow as tfdevice_name = tf.test.gpu_device_name()if device_name != '/device:GPU:0': raise SystemError('GPU device not found')print('Found GPU at: {}'.format(device_name))

顺利的话会出现:

Found GPU at: /device:GPU:0

不顺利的话:

机器学习

谷歌允许你一次最多持续使用12小时的免费 GPU。

2. 上传并使用数据文件

除了使用菜单里的上传按钮外,我们还可以通过代码调用笔记本中的文件选择器:

from google.colab import filesuploaded = files.upload()

之后,我们就会发现单元 cell 下出现了“选择文件”按钮:

机器学习

然后就可以直接上传文件了

打开APP阅读更多精彩内容
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉

全部0条评论

快来发表一下你的评论吧 !

×
20
完善资料,
赚取积分