如何将复杂对象存储到hadoop Hbase中？

Question

我有复杂的对象，需要将收集字段存储到Hadoop。我不想遍历整个对象树并明确存储每个字段。所以我只考虑复杂字段的序列化并将其存储为一个大块。而不是在阅读对象时绝望。那么最好的方法是什么？我虽然为此使用了某种类型的服务，但我希望Hadoop有办法处理这种情况。

要存储的示例对象的类：

class ComplexClass {

<simple fields>

List<AnotherComplexClassWithCollectionFields> collection;


}

Answer 1

HBase仅处理字节数组，因此您可以以您认为合适的任何方式序列化对象。

序列化对象的标准Hadoop方法是实现org.apache.hadoop.io.Writable接口。然后，您可以使用org.apache.hadoop.io.WritableUtils.toByteArray(Writable ... writable)将对象序列化为字节数组。

此外，Hadoop社区中的人们还使用其他序列化框架，如Avro，Protocol Buffers和Thrift。所有都有他们的具体用例，你的研究也是如此。如果您正在做一些简单的事情，那么实现Hadoop的Writable应该足够好了。