Question

我使用SingleColumnValueFilter返回我想要删除的行列表：

SingleColumnValueFilter fileTimestampFilter = new SingleColumnValueFilter(
         Bytes.toBytes('a'),
         Bytes.toBytes('date'),
         CompareFilter.CompareOp.GREATER,
         Bytes.toBytes("20140101000000")
         );

然后我创建一个Delete对象并删除每一列。

Delete delete = new Delete(Bytes.toBytes(rowKey));
delete.deleteColumn(Bytes.toBytes('a'), Bytes.toBytes('date'));
htable.delete(delete);

检索代码是

private List<String> getRecordsToDelete(long maxResultSize)
{
  ResultScanner rs = null;
  HTableInterface table = null;
  List<String> keyList = new ArrayList<String>();
  try
  {
    log.debug("Retrieving records");      
    HbaseConnection hbaseConnectionConfig = myConfig.getHbaseConnection();
    Configuration configuration = getHbaseConfiguration(hbaseConnectionConfig);
    table = new HTable(configuration, 'mytable');
    FilterList list = new FilterList(FilterList.Operator.MUST_PASS_ALL);
    Filter filter = HbaseDao.getFilter();
    list.addFilter(filter);
    list.addFilter(new PageFilter(maxResultSize));
    Scan scan = new Scan();
    scan.setFilter(list);
    //scan.setMaxResultSize(maxResultSize);
    //scan.setCaching(1);
    //scan.setCacheBlocks(false);
    //log.debug("Scan raw? = " + scan.isRaw());
    //scan.setRaw(false);
    rs = table.getScanner(scan);      
    Iterator<Result> iterator = rs.iterator();      
    while (iterator.hasNext())
    {        
      Result result = iterator.next();        
      String key = Bytes.toString(result.getRow());
      log.debug("**************** f key = " + key); //the same keys are always added here
      keyList.add(key);        
    }
    log.debug("Done processing retrieval of records to delete Size = " + keyList.size());
  }
  catch (Exception ex)
  {
    log.error("Unable to process retrieval of records.", ex);
  }
  finally
  {
    try
    {
      if (table !=  null)
      {
        table.close();
      }
      if (rs != null)
      {
        rs.close();
      }
    }
    catch (IOException ioEx)
    {
      //do nothing
      log.error(ioEx);
    }
  }
  return keyList;
}

此任务已安排，当它再次运行时，它正在检索相同的行。据我所知，hbase标记要删除的行，然后它们仅在主要压缩后被物理删除。如果我通过hbase shell在我的任务运行之间查询行，那么该列肯定已被删除。为什么我的扫描在此任务的后续运行中返回相同的行？

提前致谢！

Answer 1

它与主要压缩无关（默认情况下每隔约24小时运行一次）。删除行时，HBase将忽略已删除的数据，直到最终删除（在major_compactions上）。请注意，如果您没有激活autoflush，则必须先调用htable.flushCommits()（默认情况下autoflush = on）来手动刷新客户端缓冲区。

您的问题可能是由于您只是删除了a:date并且您的行中有更多列正在被读取并且他们正在通过过滤器而导致问题，因为这是默认行为如果没有价值。

如果您要删除整行，只需删除delete.deleteColumn(Bytes.toBytes('a'), Bytes.toBytes('date'));即可删除该行，而不仅仅是列。

如果您只想删除a:date列，同时保持行的其余部分不变，请设置filterIfMissing标志以避免a:date == null行通过（因为它已被删除）：filter.setFilterIfMissing(true);

或者为了获得最佳性能，只需将该列添加到扫描中，即可防止读取其他列：scan.addColumn(Bytes.toBytes('a'), Bytes.toBytes('date'));

另外请注意，list.addFilter(new PageFilter(maxResultSize));将从表的每个区域检索maxResultSize结果，当keyList达到maxResultSize时，必须通过断开它来手动实现迭代器中的限制。

另外一个提示是，在进行调试时，请始终记录完整的结果，以便确切了解其中的内容。

Hbase扫描正在返回已删除的行

1 个答案: