与Cygnus一起使用Parquet格式

时间:2015-12-17 13:27:42

标签: fiware fiware-cygnus

我想以Parquet格式存储事件数据(例如,在HDFS上)。我是否需要修改相应接收器的代码,或者有解决方法?例如,使用Flume拦截器..谢谢。

1 个答案:

答案 0 :(得分:1)

一方面,关于Cygnus有一个关于修改代码的issue,考虑到在写入HDFS时支持多种输出格式的目标。修改已完成,但仅对我们的自定义Json和CSV格式的编码进行了编码。这个测量代码已准备好进行修改,以便添加第三种格式。我在OrionHDFSSink上添加了关于特定Parquet支持的new issue;如果您最终决定进行修改,我可以为您分配问题:)

另一方面,您始终可以使用本机HDFS接收器(持久保存所有通知的正文),并有效地编写自定义拦截器。

正如您所看到的,在这两种情况下,您都必须对Parquet部分进行编码(或等到我们有实施它的空间)。