如何修复“在加载类文件'HBaseContext.class'时检测到缺少或无效的依赖关系”

时间:2019-06-01 15:06:30

标签: apache-spark-sql hbase bulk-delete

我试图基于单独的仅包含行键的spark数据框从hbase表中删除一些记录。 但是,代码将引发此构建错误-“在加载类文件'HBaseContext.class'时检测到缺少或无效的依赖关系”

我的依存关系是-

<groupId>org.apache.hbase</groupId>
<artifactId>hbase-spark</artifactId>
<version>2.0.0-alpha4</version>

我已经尝试了htable.delete(),但是当我尝试从spark-submit提交运行而没有引发任何错误时,它无法删除。

val hbaseContext = new HBaseContext(spark.sparkContext, conf)
    hbaseContext.bulkDelete[Array[Byte]](keysToDeleteFromHBase.map(record => Bytes.toBytes(record.getString(0))).rdd,
    TableName.valueOf(tableName),
    putRecord => new Delete(putRecord), 1000)

0 个答案:

没有答案