当我在spark集群模型中运行apache beam sdk时,抛出java.io.FileNotFoundException *** No such file or directory
。该程序是简单的wordcount。环境信息如下:
bin/spark-submit
--class org.apache.beam.examples.WordCount \
--master yarn \
--deploy-mode client \
--supervise \
--executor-memory 4G \
--num-executors 4 \
jar/word-count-beam-bundled-0.1.jar \
--runner=SparkRunner --inputFile=pom.xml --output=result/res
当我在Direct-Runner中运行时,程序运行成功,我可以保证文件存在于路径中。虽然运行Spark-Runner但它失败了。
任何人都可以帮我找到问题吗?感谢。