通过spark-submit提交时，Apache Beam作业挂起

Question

我只是想在本地spark设置中执行Apache Beam示例代码。我生成了源代码并构建了this page中提到的包。并使用spark-submit提交jar，如下所示，

$ ~/spark/bin/spark-submit --class org.apache.beam.examples.WordCount --master local target/word-count-beam-0.1.jar --runner=SparkRunner --inputFile=pom.xml --output=counts

代码被提交并开始执行。但是在步骤Evaluating ParMultiDo(ExtractWords)陷入困境。以下是提交作业后的日志。

无法找到任何错误消息。有人可以帮忙找到什么错误吗？

编辑：我也尝试使用以下命令，

~/spark/bin/spark-submit --class org.apache.beam.examples.WordCount --master spark://Quartics-MacBook-Pro.local:7077 target/word-count-beam-0.1.jar --runner=SparkRunner --inputFile=pom.xml --output=counts

这项工作现在停留在INFO BlockManagerMasterEndpoint: Registering block manager 192.168.0.2:59049 with 366.3 MB RAM, BlockManagerId(0, 192.168.0.2, 59049, None)。附上Spark History＆amp; amp;屏幕截图。仪表板显示作业正在运行，但根本没有进展。

Answer 1

这只是一个版本问题。我能够在Spark 1.6.3中运行这个工作。感谢所有刚刚投票支持这个问题而没有解释的人。