如何根据累积的流数据大小将流数据帧传输到S3?

时间:2017-10-31 07:13:52

标签: apache-spark amazon-s3 spark-dataframe spark-streaming

现在,我的代码就像 -

dataFrame.writeStream().trigger(Trigger.ProcessingTime(triggerTime))

在每次"触发时间"之后触发传输。间隔。

现在,我希望只有在我积累了大量数据时才会触发传输。 触发器似乎没有为基于大小的触发器提供任何选项。

有人知道吗?

0 个答案:

没有答案