没有mapreduce的Hbase BulkLoad

Question

我想知道是否有可能编写一个在HBase上执行BulkLoad的java程序。我在hadoop集群上，但出于某种原因我不需要编写MapReduce作业。

由于

Answer 1

BulkLoad适用于HFile。因此，如果您有HFile，则可以直接使用LoadIncrementalHFiles来处理批量加载。 通常我们使用Map reduce，它可以将数据转换为上面的格式，并执行Bulk Load。 如果您有csv文件，则可以使用ImportTsv实用程序将数据处理为HFile。有关详细信息，请使用this link 这取决于您当前数据的格式。 要注意的是，Bulk Load，不要使用Write ahead Logs（WAL）。他们跳过此步骤并以更快的速度添加数据。如果你有任何其他框架取决于上面的WAL，考虑在Hbase中添加数据的其他选项。快乐的编码。