\列出Spark当前会话/内存中的所有DataFrame

Question

我在PySpark中有10个DF分配给不同的变量名，例如： var1 = DF1，var2 = DF2等 Spark / PySpark中是否有内置函数列出内存/会话中的所有DF？或任何其他方式？

Answer 1

您可以从an answer调整zero323：

def list_dataframes():
    from pyspark.sql import DataFrame
    return [k for (k, v) in globals().items() if isinstance(v, DataFrame)]

如果对象已注册，则目录将有所帮助：

spark = ...  # SparkSession

spark.catalog.listTables()