一方面,关于Cygnus有一个关于修改代码的issue,考虑到在写入HDFS时支持多种输出格式的目标。修改已完成,但仅对我们的自定义Json和CSV格式的编码进行了编码。这个测量代码已准备好进行修改,以便添加第三种格式。我在OrionHDFSSink
上添加了关于特定Parquet支持的new issue;如果您最终决定进行修改,我可以为您分配问题:)
另一方面,您始终可以使用本机HDFS接收器(持久保存所有通知的正文),并有效地编写自定义拦截器。
正如您所看到的,在这两种情况下,您都必须对Parquet部分进行编码(或等到我们有实施它的空间)。