使用带有spark

Question

是否可以将DEAP（http://deap.readthedocs.io/en/master/）与火花簇一起使用来映射适应度评估函数。我想运行GA，但健身功能相当长，我打算将它分配到火花簇上。

Answer 1

您应该查看DEAP文档中的Using Multiple Processors部分以及此example。他们解释了如何通过您选择的地图功能替换DEAP toolbox中的地图功能。

要使用pyspark映射健身评估功能，您可以执行以下操作：

from pyspark import SparkContext

sc = SparkContext(appName="DEAP")

def sparkMap(algorithm, population):
    return sc.parallelize(population).map(algorithm)

toolbox.register("map", sparkMap)