Horovod- TensorFlow 分布式深度学习框架

Horovod- TensorFlow 分布式深度学习框架

Horovod 是 Uber 开源的针对 TensorFlow的分布式深度学习框架，旨在使分布式深度学习更快速，更易于使用。

Horovod 吸取了 Facebook 的 Training ImageNet in 1Hour（一小时训练 ImageNet） 论文与百度 RingAllreduce的优点，为用户实现分布式训练提供帮助。该项目主要是想能够轻松采用单个 GPU TensorFlow 程序，同时也能更快地在多个 GPU上成功地对其进行训练。使用 Horovod 我们可以不需要再去担心或学习很多东西，如tf.Server（）、tf.ClusterSpec（）、tf.train.SyncReplicasOptimizer（）、tf.train.replicas_device_setter（）等等。

除了易于使用，Horovod 的速度也很快。下图为 Inception V3 和 ResNet-101 TensorFlow 模型在 25GbE TCP上使用不同数量的 NVIDIA Pascal GPU 时，使用标准分布式 TensorFlow 和 Horovod运行分布式训练工作每秒处理的图像数量对比。

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。