我在EMR上运行以下示例 - http://www.robertomarchetto.com/spark_java_maven_example
使用 -
aws emr add-steps --cluster-id j-<clusterId> --steps Type=Spark,Name="Spark Program",ActionOnFailure=CONTINUE,Args=[--class,org.sparkexample.WordCountTask,target/spark-examples-1.0-SNAPSHOT.jar,<inputPath>, <outputPath>]
并收到以下错误 -
＆＃34;失败详情＆＃34;：{ ＆＃34;原因＆＃34;：＆＃34;未找到主类。＆＃34;， ＆＃34; LogFile＆＃34;：＆＃34; s3：//some_locatoin/clusterId/steps/stepId/stderr.gz"， ＆＃34;消息＆＃34;：＆＃34; java.lang.ClassNotFoundException：org.sparkexample.WordCountTask＆＃34; }
EMR的版本为emr-5.6.0。如果您对此有任何想法，我很乐意听到。感谢
2017年11月17日更新 - 只是为了让它变得更加奇怪，代码在通过spark-submit直接提交到群集时正常运行