不完全确定我理解为什么当我通过intellij与master运行我的spark应用程序作为我的独立群集url在本地运行一个worker我得到一个类未找到问题但是如果我只使用local[*]
它工作正常。我从概念上理解,也许我的工作人员没有找到独立的jar文件,但我如何确保在我的pom文件中定义的依赖关系在我的集群中得到利用? (我没有运行spark-submit --jars
所以试图在独立模式下使用我的本地集群在intellij内进行测试。
Caused by: java.lang.ClassNotFoundException: Class org.apache.hadoop.fs.s3a.S3AFileSystem not found