如何实现摄取时间?

时间:2017-09-18 08:17:06

标签: apache-spark spark-structured-streaming

我在Event Time / Processing Time / Ingestion Time的Apache Flink文档中找到了不同时间概念之间的区别。

  

事件时间是每个单独事件在其生产设备上发生的时间。

这是什么数据集附带的,因此可以在Spark Structured Streaming中使用。

  

处理时间是指执行相应操作的机器的系统时间。

     

摄取时间是事件进入Flink的时间。

两个处理时间和摄取时间是我关心的问题。我想我知道如何实现处理时间,但我不确定摄入时间(或者我错了,反之亦然)。

如何在Spark Structured Streaming 2.2及更高版本中实现摄取时间?

0 个答案:

没有答案