如何使用C ++在HDFS上写入Parquet文件？

Question

我需要使用C ++语言以Parquet格式将内存中的数据记录写入HDFS文件。我知道github上有一个parquet-cpp库，但是我找不到示例代码。

任何人都可以共享副本或链接到示例代码吗？谢谢。

Answer 1

在examples目录的github仓库中有parquet-cpp的示例。他们只是处理Parquet，不涉及HDFS访问。

要从C ++访问HDFS，您需要libhdfs来自Apache Hadoop。或者，您可以使用here中描述的具有HDFS集成的Apache Arrow。