我正在尝试使用以下代码在单元测试案例中创建一个Spark会话
val spark = SparkSession.builder.appName("local").master("local").getOrCreate()
但是在运行测试时，出现以下错误：
java.lang.ClassNotFoundException: org.apache.hadoop.fs.GlobalStorageStatistics$StorageStatisticsProvider
我尝试添加依赖项，但无济于事。有人可以指出这个问题的原因和解决方案吗？
答案 0 :(得分：0)
可能有两个原因。 1.您的Spark和Hadoop堆栈版本可能不兼容。例如，HBase 0.9与spark 2.0不兼容。它将导致未找到类/方法的异常。 2.由于依赖关系地狱，您可能拥有同一个库的多个版本。您可能需要运行依赖关系树以确保不是这种情况。