从Intellij缺少依赖性运行Spark Standalone

时间:2017-06-15 14:58:43

标签: maven apache-spark intellij-idea

不完全确定我理解为什么当我通过intellij与master运行我的spark应用程序作为我的独立群集url在本地运行一个worker我得到一个类未找到问题但是如果我只使用local[*]它工作正常。我从概念上理解,也许我的工作人员没有找到独立的jar文件,但我如何确保在我的pom文件中定义的依赖关系在我的集群中得到利用? (我没有运行spark-submit --jars所以试图在独立模式下使用我的本地集群在intellij内进行测试。

Caused by: java.lang.ClassNotFoundException: Class org.apache.hadoop.fs.s3a.S3AFileSystem not found

0 个答案:

没有答案