如何从存储在HDFS中的镶木地板文件创建DStream?

时间:2016-05-20 04:03:14

标签: apache-spark hdfs spark-streaming parquet

我想读取大量记录,以镶木地板格式存储在HDFS中,并将它们转换为Spark Stream,因此可以批量处理(写入另一个数据存储)。

无论如何都要将DataFrame转换为DStreams吗?

0 个答案:

没有答案