我试图基于单独的仅包含行键的spark数据框从hbase表中删除一些记录。 但是,代码将引发此构建错误-“在加载类文件'HBaseContext.class'时检测到缺少或无效的依赖关系”
我的依存关系是-
<groupId>org.apache.hbase</groupId>
<artifactId>hbase-spark</artifactId>
<version>2.0.0-alpha4</version>
我已经尝试了htable.delete(),但是当我尝试从spark-submit提交运行而没有引发任何错误时,它无法删除。
val hbaseContext = new HBaseContext(spark.sparkContext, conf)
hbaseContext.bulkDelete[Array[Byte]](keysToDeleteFromHBase.map(record => Bytes.toBytes(record.getString(0))).rdd,
TableName.valueOf(tableName),
putRecord => new Delete(putRecord), 1000)