标签: apache-spark hdfs spark-streaming parquet
我想读取大量记录,以镶木地板格式存储在HDFS中,并将它们转换为Spark Stream,因此可以批量处理(写入另一个数据存储)。
无论如何都要将DataFrame转换为DStreams吗?