我正在尝试访问StreamingContext
中的batchDuration
字段。我看不到任何公开此值的公共API。如何访问该字段?这基本上是流作业的窗口大小。我的代码无权访问用户定义的作业以从中获取值。
答案 0 :(得分:1)
在package org.apache.spark.streaming
包中创建您的类或对象,然后使用以下代码从 StreamingContext 获取 batchDuration / strong>
val ssc: StreamingContext = ???
ssc.graph.batchDuration