在哪里可以找到与Spark结构化流媒体相关的所有属性?

时间:2018-09-02 19:40:58

标签: scala spark-streaming spark-structured-streaming

我想知道是否有与Spark结构化流媒体相关的所有属性的清单?

例如在文档中,我们可以找到:

spark.sql.streaming.schemaInference

spark.sql.streaming.metricsEnabled

当我做spark.sql("SET -v").show(numRows = 200, truncate = false)时 按照在Spark sql上进行配置的文档中的建议,我唯一看到的是:

spark.sql.streaming.numRecentProgressUpdates
spark.sql.streaming.metricsEnabled 
spark.sql.streaming.checkpointLocation

但是我看不到***spark.sql.streaming.schemaInference***

因此,我的问题是,可以使用什么一致性方法来查看可用于设置火花结构化流行为的所有属性。 Spark流媒体属性是否适用于Spark结构化流媒体行为的全部内容?我有兴趣控制每个微型批处理的速率(即每个处理的微型dataFrame或ROWS数量)

1 个答案:

答案 0 :(得分:1)

我试图在Spark官方网站上找到所有配置,但失败了。
这是有关Spark 2.4.0的配置的原始代码。
您可以在搜索spark.sql.streaming时找到所有结构化的流配置。