Question

我需要批量编辑HBase数据，为每一行编辑特定单元格的内容。不能通过HBase PUT / GET API进行传递，因为这将非常慢。我想设置一个Spark任务，将HBase HFile加载到正确定义的DF中，让我编辑特定列中的数据，然后将数据保存回HDFS，并保持HFile格式。

我找到了一些有关如何将HFile从Spark批量写入HDFS的指南，但是，我不确定如何从HDFS提取数据。哪种DataFrame / RDD最适合此类任务？

谢谢

Answer 1

回答自己，以防别人需要它。

可以从HBase快照加载HFile。请遵循以下步骤：（在HBase shell中） 1.禁用“命名空间：表” 2.快照'namespace：table''您的快照'

这将创建一个可访问的快照，您可以在/ [HBase_path] /。snapshot / [your_snapshot]

上对其进行访问

要将快照作为RDD [ImmutableBytesWritable，结果]加载

  def loadFromSnapshot(sc: SparkContext): RDD[ImmutableBytesWritable, Result] = {

val restorePath =
  new Path(s"hdfs://$storageDirectory/$restoreDirectory/$snapshotName")
val restorePathString = restorePath.toString

// create hbase conf starting from spark's hadoop conf
val hConf = HBaseConfiguration.create()
val hadoopConf = sc.hadoopConfiguration
HBaseConfiguration.merge(hConf, hadoopConf)

// point HBase root dir to snapshot dir
hConf.set("hbase.rootdir",
  s"hdfs://$storageDirectory/$snapshotDirectory/$snapshotName/")

// point Hadoop to the bucket as default fs
hConf.set("fs.default.name", s"hdfs://$storageDirectory/")

// configure serializations
hConf.setStrings("io.serializations",
  hadoopConf.get("io.serializations"),
  classOf[MutationSerialization].getName,
  classOf[ResultSerialization].getName,
  classOf[KeyValueSerialization].getName)

// disable caches
hConf.setFloat(HConstants.HFILE_BLOCK_CACHE_SIZE_KEY, HConstants.HFILE_BLOCK_CACHE_SIZE_DEFAULT)
hConf.setFloat(HConstants.BUCKET_CACHE_SIZE_KEY, 0f)
hConf.unset(HConstants.BUCKET_CACHE_IOENGINE_KEY)

// configure TableSnapshotInputFormat
hConf.set("hbase.TableSnapshotInputFormat.snapshot.name", settingsAccessor.settings.snapshotName)
hConf.set("hbase.TableSnapshotInputFormat.restore.dir", restorePathString)

val scan = new Scan()     // Fake scan which is applied by spark on HFile. Bypass RPC
val scanString = {
  val proto = ProtobufUtil.toScan(scan)
  Base64.encodeBytes(proto.toByteArray)
}
hConf.set(TableInputFormat.SCAN, scanString)

val job = Job.getInstance(hConf)

TableSnapshotInputFormat.setInput(job, settingsAccessor.settings.snapshotName, restorePath)

// create RDD
sc.newAPIHadoopRDD(job.getConfiguration,
  classOf[TableSnapshotInputFormat],
  classOf[ImmutableBytesWritable],
  classOf[Result])
}

这将从快照目录中加载HFile并将对其执行“伪”全扫描，这避免了缓慢的远程过程调用，但允许具有相同的扫描输出。

完成后，您可以重新启用表格

启用'nasmespace：table' （可选）您也可以删除快照（实际上不会删除任何数据）
delete_snapshot'您的快照'

如何在不使用HBase API的情况下使用Spark直接编辑HBase HFile

1 个答案: