Question

我正在尝试在Google Dataproc上运行Spark作业。但是，正如通常所看到的，Spark驱动程序的初始化占用了执行时间的很大一部分。我想知道使用相同的JavaSparkContext实例在Google Dataproc上运行Spark的多个作业有什么好方法，因此我不会因为火花驱动程序初始化而失去每个作业的性能。目前，我的代码看起来像这样：

public static void main(String[] args) {

    SparkConf configuration = new SparkConf().setAppName("App");
    final JavaSparkContext context = new JavaSparkContext(configuration);

    // Do stuff

    // Stop connection to Java Spark
    context.stop();
}

Answer 1

Dataproc目前基于YARN进行资源分配，因为这使我们可以为基于Hadoop的作业（Hive，Pig，Hadoop MR）和Spark作业提供单一界面。这样做的缺点是，在启动新的（Java）SparkContext时，分配Spark AppMaster和worker会产生开销。我不认为Dataproc有一个内置的答案，我认为任何易于实现的解决方案都意味着您将不再使用Dataproc Jobs API来提交单个作业。

虽然Dataproc本身目前无法通过作业API提供低延迟Spark作业，但您可以运行Dataproc集群并在Dataproc集群中指向Spark作业服务器。您可以在github https://github.com/spark-jobserver/spark-jobserver找到有关作业服务器的更多信息。使用作业服务器时，您应该能够创建Spark上下文，然后将该上下文重用于以后的作业。您还需要确保将作业服务器配置为以yarn-client模式运行。这意味着您创建的每个上下文仍然会产生YARN分配的启动成本，但每个上下文只会产生一次。

如果您的REST服务器在无法进行任意网络调用的环境中运行（例如，AppEngine），您可能需要调查一个向云pubsub发布消息然后在GCE中运行订阅消息的组件的系统然后代表您的AppEngine应用程序将作业提交到Spark作业服务器。

对多个作业使用相同的JavaSparkContext以防止在火花驱动程序初始化时使用时间

1 个答案: