Question

我正在尝试使用Matthew Rocklin提出的名为dask-spark的项目。

将dask-spark添加到我的项目中时，我遇到了一个问题：等待工人，如下图所示。

在这里，我以dask-worker tcp：// ubuntu8：8786和tcp：// ubuntu9：8786的身份运行两个工作程序节点（dask），并在独立模型上运行两个工作程序节点（spark），作为worker-20180918112328- ubuntu8-45764和worker-20180918112413-ubuntu9-41972

Waiting for workers

我的python代码如下：

from tpot import TPOTClassifier
from sklearn.datasets import load_digits
from sklearn.model_selection import train_test_split
from sklearn.externals import joblib
from dask.distributed import Client
import distributed.joblib    
from sklearn.externals.joblib import parallel_backend
from dask_spark import spark_to_dask
from pyspark import SparkConf, SparkContext
from dask_spark import dask_to_spark

if __name__ == '__main__':

  sc = SparkContext()    
  #connect to the cluster
  client = spark_to_dask(sc) 
  digits = load_digits()
  X_train, X_test, y_train, y_test = train_test_split(
    digits.data,
    digits.target,
    train_size=0.75,
    test_size=0.25,
  )

  tpot = TPOTClassifier(
  generations=2,
  population_size=10,
  cv=2,
  n_jobs=-1,
  random_state=0,
  verbosity=0  
  )
  with joblib.parallel_backend('dask.distributed', scheduler_host=' ubuntu8:8786'):
  tpot.fit(X_train, y_train)    

  print(tpot.score(X_test, y_test))

如果您能帮助我解决这个问题，我将不胜感激。

Answer 1

我将core.py中的程序修改为：

def spark_to_dask(sc, loop=None):
    """ Launch a Dask cluster from a Spark Context
    """
    cluster = LocalCluster(n_workers=None, loop=loop, threads_per_worker=None)
    rdd = sc.parallelize(range(1000))
    address = cluster.scheduler.address

随后，通过独立或Mesos在Spark上运行我的测试用例成功。

Answer 2

如项目自述文件所述，dask-spark不成熟。这是一个周末项目，我不建议使用它。

相反，我建议直接使用此处描述的一种机制启动Dask：http://dask.pydata.org/en/latest/setup.html

如果您必须使用Mesos，我不确定会有什么帮助，但是在马拉松之上运行的软件包daskathon可能会让您感兴趣。

如何使用dask TO spark集群（独立模型或Mesos模型）运行TPOT

2 个答案: