PyTorch终于能用上谷歌云TPU

PyTorch官方已经在Github上给出示例代码，教你如何免费使用谷歌云TPU训练模型，然后在Colab中进行推理。

训练ResNet-50

PyTorch先介绍了在云TPU设备上训练ResNet-50模型的案例。如果你要用云TPU训练其他的图像分类模型，操作方式也是类似的。

在训练之前，我们先要转到控制台创建一个新的虚拟机实例，指定虚拟机的名称和区域

如果要对Resnet50在真实数据上进行训练，需要选择具有最多CPU数量的机器类型。为了获得最佳效果，请选择n1-highmem-96机器类型。

然后选择Debian GNU/Linux 9 Stretch + PyTorch/XLA启动盘。如果打算用ImageNet真实数据训练，需要至少300GB的磁盘大小。如果使用假数据训练，默认磁盘大小只要20GB。

创建TPU

1. 转到控制台中创建TPU。
2. 在“Name”中指定TPU Pod的名称。
3. 在“Zone”中指定云TPU的区域，确保它与之前创建的虚拟机在同一区域中。
4. 在“ TPU Type”下，选择TPU类型，为了获得最佳效果，请选择v3-8TPU（8个v3）。
5. 在“ TPU software version”下，选择最新的稳定版本。
6. 使用默认网络。
7. 设置IP地址范围，例如10.240.0.0。

官方建议初次运行时使用假数据进行训练，因为fake_data会自动安装在虚拟机中，并且只需更少的时间和资源。你可以使用conda或Docker进行训练。

在fake_data上测试成功后，可以开始尝试用在ImageNet的这样实际数据上进行训练。

用conda训练：

（编辑：广元站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!