Spark，如何打印查询？

Question

我正在使用pyspark

    df = self.sqlContext.read.option(
        "es.resource", indexes
    ).format("org.elasticsearch.spark.sql").load()


    df = df.filter(
        df.data.timestamp >= self.period_start
    )

如果可能，我想查看df的sql查询版本。

类似print(df.query)的东西可以看到类似select * from my-indexes where data.timestamp > self.period_start

Answer 1

您可以查看有关pyspark.sql.DataFrame.explain的文档 。 explain将（逻辑和物理）计划打印到控制台以进行调试。