如何将风暴元组作为镶木地板结构存储到hdfs中

时间:2017-05-06 19:43:11

标签: hadoop hdfs apache-storm parquet

我想将暴风雨中的元组作为镶木地板结构保存到hdfs中。

1)最好的方法是什么?

2)我是否需要为镶木地板预先创建AVro / Protobuff架构,以便元组可以正确创建镶木地板结构?

3)由于我想在拼花结构上使用Spark进行数据分析,我应该将镶木地板存储到hdfs中(因为Spark可以很好地使用Hdfs块)或者将镶木地板存储到任何文件系统(S3 / Google Cloud)应该没问题吗?

4)如果有人可以将风暴元组的例子分享给镶木地板转换,那将是很棒的,因为我不熟悉任何与风暴元组兼容的镶木地板库。

由于 Kaniska

0 个答案:

没有答案