Spark数据源v2支持结构化流应用程序中的purn列吗?

时间:2019-04-28 06:51:04

标签: apache-spark apache-spark-sql spark-streaming

我尝试通过带有SupportsPushDownRequiredColumns接口的自定义数据源v2使用Spark结构化流(版本2.3.1),并且得到“ EventTimeWatermark的无计划”。在使用修剪列功能时会发生这种情况。

我查看了DataSourceV2Relation类的2.4.0文档,并注意到在StreamingDataSourceV2Relation类注释中写道:“请注意,该计划具有可变的读取器,因此Spark不会应用运算符push-制定这个计划”。

那么,spark结构化流应用程序是否支持修剪列下推?

0 个答案:

没有答案