带有火花转轮的Apache光束字计数示例失败，并且＃34;未知＆＃39;跑步者＆＃39;指定＆＃39; SparkRunner＆＃39;＆＃34;

Question

我试图通过给出以下命令

来执行Apache光束字计数示例的spark-submit

spark-submit --class org.apache.beam.examples.WordCount word-count-beam-0.1.jar --inputFile=pom.xml --output=counts --runner=SparkRunner

我得到以下例外：

  

线程中的异常＆＃34; main＆＃34; java.lang.IllegalArgumentException：未知   ＆＃39;转轮＆＃39;指定＆＃39; SparkRunner＆＃39;，支持管道运行程序   [DirectRunner]

Answer 1

你的pom.xml需要包含对Spark运行器的依赖。有关使用Spark runner的文档包含有关必要内容的更多详细信息。

Answer 2

看起来你并没有构建具有必要的Spark依赖关系的Uber-jar。 重新运行您的Maven包，如下所示： mvn package -Pspark-runner 这将在target中构建一个包含wordcount类的Jar以及所有必需的spark依赖项，如下所示： word-count-beam-bundled-0.1.jar 然后在spark-submit命令

中使用该jar