我想知道是否有与Spark结构化流媒体相关的所有属性的清单?
例如在文档中,我们可以找到:
spark.sql.streaming.schemaInference
spark.sql.streaming.metricsEnabled
当我做spark.sql("SET -v").show(numRows = 200, truncate = false)
时
按照在Spark sql上进行配置的文档中的建议,我唯一看到的是:
spark.sql.streaming.numRecentProgressUpdates
spark.sql.streaming.metricsEnabled
spark.sql.streaming.checkpointLocation
但是我看不到***spark.sql.streaming.schemaInference***
因此,我的问题是,可以使用什么一致性方法来查看可用于设置火花结构化流行为的所有属性。 Spark流媒体属性是否适用于Spark结构化流媒体行为的全部内容?我有兴趣控制每个微型批处理的速率(即每个处理的微型dataFrame或ROWS数量)
答案 0 :(得分:1)
我试图在Spark官方网站上找到所有配置,但失败了。
这是有关Spark 2.4.0的配置的原始代码。
您可以在搜索spark.sql.streaming
时找到所有结构化的流配置。