结构化流媒体能否控制数据到达的速度?

时间:2019-11-30 02:45:28

标签: spark-structured-streaming

例如,我的文件大小为100MB,并使用结构化流处理它。我想每次读取10MB,然后输出结果,再次读取10MB,然后进行处理。但是结构化流似乎将100MB直接读入处理,并等待新数据处理。

1 个答案:

答案 0 :(得分:0)

结构化流媒体现在支持Rate Source,并且使用rowsPerSecond可以获取所需数量的数据。