WebHDFS和SequenceFiles

Question

WebHDFS不支持SequenceFiles吗？

我找不到任何说它的东西。我有通常的小文件问题，相信SequenceFiles可以运行得很好，但我需要使用WebHDFS。我需要通过WebHDFS创建然后附加到SequenceFile。

Answer 1

我认为这是真的。没有要附加到序列文件的Web API。

但是，您可以附加二进制数据，如果您的序列文件不是块压缩的，您应该能够以相对较少的工作量在客户端上格式化数据。您可以通过在客户端上通过序列文件编写器运行输入，然后使用输出进行上载（整个文件或表示自上次追加以来的增量的切片）来完成此操作。

您可以阅读有关序列文件格式here的更多信息。