Question

我想使用PySpark创建spark数据帧，为此我在PyCharm中运行了这段代码：

from pyspark.sql import SparkSession
Spark_Session:SparkSession.builder\
.enableHiveSupport()\
.master("local"\
.getOrCreate()

但是，它会返回此错误：

使用Spark的默认log4j配置文件：org / apache / spark / log4j-defaults.properties 将默认日志级别设置为＆＃34; WARN＆＃34;。要调整日志记录级别，请使用sc.setLogLevel（newLevel）。对于SparkR，请使用setLogLevel（newLevel）。 18/01/08 10:17:55 WARN NativeCodeLoader：无法为您的平台加载native-hadoop库...使用适用的builtin-java类 18/01/08 10:18:14 WARN ObjectStore：无法获取数据库global_temp，返回NoSuchObjectException

我该如何解决这个问题？

Answer 1

你在哪里跑这个？是否安装了Hadoop？似乎Spark无法找到它：Unable to load native-hadoop library for your platform... using builtin-java classes。您需要确保提供正确的库。在Spark UI中，您可以检查上下文。

尝试：

from pyspark.sql import SparkSession

spark = SparkSession \
    .builder \
    .appName("Spark Example") \
    .getOrCreate()

这应该有效。

无法通过pyspark创建spark数据帧

1 个答案: