标签: spark-structured-streaming
例如,我的文件大小为100MB,并使用结构化流处理它。我想每次读取10MB,然后输出结果,再次读取10MB,然后进行处理。但是结构化流似乎将100MB直接读入处理,并等待新数据处理。
答案 0 :(得分:0)
结构化流媒体现在支持Rate Source,并且使用rowsPerSecond可以获取所需数量的数据。