Question

我找到了很多关于从hbase加载数据的例子，对我来说就是

Configuration config = HBaseConfiguration.create();
    config.set(TableInputFormat.INPUT_TABLE, props.getProperty(ConfigConstants.HBASE_SRC_TABLE_NAME));
    config.set(TableInputFormat.SCAN_MAXVERSIONS, props.getProperty(ConfigConstants.HBASE_SRC_TABLE_VERSIONS));
    config.set(TableInputFormat.SCAN_COLUMN_FAMILY, HbaseConstants.MAPPING_FAMILY);
    config.set(TableInputFormat.SCAN_TIMERANGE_START, "0");
    config.set(TableInputFormat.SCAN_TIMERANGE_END, startTimestamp + "000");

    RDD<Tuple2<ImmutableBytesWritable, Result>> tupleRDD = context.newAPIHadoopRDD(config, TableInputFormat.class,
            ImmutableBytesWritable.class, Result.class);

但是我真的需要一种方法来删除处理后加载到spark中的记录。

尝试将元组RDD映射到JavaPairRDD<ImmutableBytesWritable, Delete>，然后用

JobConf jobConf = new JobConf(config);
    jobConf.setOutputFormat(org.apache.hadoop.hbase.mapred.TableOutputFormat.class);
    jobConf.set(TableOutputFormat.OUTPUT_TABLE, props.getProperty(ConfigConstants.HBASE_TARGET_TABLE_NAME));
    outputPairsRDD.saveAsHadoopDataset(jobConf);

但是这给了我一个例外如下

"main" org.apache.hadoop.mapred.InvalidJobConfException: Output directory not set.

有没有办法从火花中删除？

Answer 1

事实证明没有简单的方法可以做到这一点，我的最终解决方案是获取数据并通过hbase删除功能而不是hbase的spark-version delete删除它们。

Spark批量删除hbase上的记录

1 个答案: