我正在研究一个spark项目,该项目将从kafka中获取数据并保存到azure blob中。 refrence我添加了依赖项
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-azure</artifactId>
<version>2.7.0</version>
</dependency>
<dependency>
<groupId>com.microsoft.azure</groupId>
<artifactId>azure-storage</artifactId>
<version>2.0.0</version>
</dependency>
提交纱线作业时出现错误
用户类引发异常:java.lang.Exception:java.io.IOException:方案:wasbs没有文件系统
但是当我在本地提交工作时,一切正常。
我在我的spark-submit命令中添加了jar-
--jars azure-storage-2.0.0.jar,hadoop-azure-2.7.0.jar
但还是同样的问题。