用Hive反序列化protobuf列

Question

我对Hive真的很新，如果我的问题有任何误解，我道歉。

我需要将hadoop序列文件读入Hive表，序列文件是thrift二进制数据，可以使用Hive附带的SerDe2对其进行反序列化。

现在的问题是：文件中的一列是用Google protobuf编码的，所以当thrift SerDe处理序列文件时，它不会正确处理protobuf编码列。

我想知道Hive是否有办法处理嵌套在thrift序列文件中的这种protobuf编码列，以便可以正确解析每列？

非常感谢您提供任何可能的帮助！

Answer 1

我相信你应该使用其他一些serde来反序列化proto buff格式，

可能是你可以参考，

https://github.com/twitter/elephant-bird/wiki/How-to-use-Elephant-Bird-with-Hive