PySpark Juypter笔记本电脑显示器

Question

我对jupyter笔记本电脑还很陌生，我正努力以类似于普通熊猫数据框（图2）的整洁方式展示我的火花表（图1）。我试图不使用熊猫。

显示功能在spark数据框上不起作用:(有人可以帮我吗？这将使我更容易分析spark表。

Answer 1

构建Spark会话时，添加配置。

.config("spark.sql.repl.eagerEval.enabled", True)

例如，

import findspark
findspark.init()

from pyspark.sql import SparkSession

spark = SparkSession.builder \
          .master("local") \
          .config("spark.sql.repl.eagerEval.enabled", True) \
          .getOrCreate()

并仅按以下方式调用不带.show的数据框

df

将以这种方式打印结果。