支持python的分布式计算框架Ray详解

项目地址：https://github.com/ray-project/ray

1、简介

ray为构建分布式应用程序提供了一个简单、通用的api。ray是一种分布式执行框架,便于大规模应用程序和利用先进的机器学习库。

ray通过以下方式完成这项任务：

为构建和运行分布式应用程序提供简单的原语。

使最终用户能够并行化单个机器代码，而代码更改很少到零。

在核心ray之上包含大量应用程序、库和工具，以支持复杂的应用程序。

2、安装

安装方式比较简单： pip install ray==1.4.1

3、单机

下面是不使用分布式的代码示例：

运行：python test_ray.py

4、集群

如果需要启动集群模式，则需要先启动服务，选择一台机器作为主服务器，然后按虾米那命令启动：

可以看到里面提示具体的用法。此时通过ray的web界面，端口8265访问，看到已有一台机器。

然后在另外两台机启动客户端节点，保证各个节点的ray版本一致,查看版本：

# pip freeze |grep ray

版本不一致的话，要升级为一致：pip install -u ray， 此处选择的版本为1.4.1

从节点启动方式(密码可以在主节点启动时显示)：

改写程序，用于分布式：

在主节点运行程序，程序会在3台机器上启动。停止ray服务的方式：ray stop.

到此这篇关于支持python的分布式计算框架ray的文章就介绍到这了,更多相关python的分布式计算框架ray内容请搜索www.887551.com以前的文章或继续浏览下面的相关文章希望大家以后多多支持www.887551.com！