beam sdk运行火花集群

时间:2017-04-17 09:33:10

标签: apache-spark apache-beam

当我在spark集群模型中运行apache beam sdk时,抛出java.io.FileNotFoundException *** No such file or directory。该程序是简单的wordcount。环境信息如下:

  1. 火花版本为1.6.2
  2. Apache Beam版本为0.7.0-SNAPSHOT
  3. 参数如下: bin/spark-submit --class org.apache.beam.examples.WordCount \ --master yarn \ --deploy-mode client \ --supervise \ --executor-memory 4G \ --num-executors 4 \ jar/word-count-beam-bundled-0.1.jar \ --runner=SparkRunner --inputFile=pom.xml --output=result/res 当我在Direct-Runner中运行时,程序运行成功,我可以保证文件存在于路径中。虽然运行Spark-Runner但它失败了。 任何人都可以帮我找到问题吗?感谢。

0 个答案:

没有答案