我尝试通过带有SupportsPushDownRequiredColumns接口的自定义数据源v2使用Spark结构化流(版本2.3.1),并且得到“ EventTimeWatermark的无计划”。在使用修剪列功能时会发生这种情况。
我查看了DataSourceV2Relation类的2.4.0文档,并注意到在StreamingDataSourceV2Relation类注释中写道:“请注意,该计划具有可变的读取器,因此Spark不会应用运算符push-制定这个计划”。
那么,spark结构化流应用程序是否支持修剪列下推?