无法在火花中本地读取镶木地板文件

Question

我在本地运行Pyspark并尝试读取镶木地板文件并从笔记本加载到数据框中。

df = spark.read.parquet（“metastore_db / tmp / userdata1.parquet”）

我收到此异常

An error occurred while calling o738.parquet.
: org.apache.spark.sql.AnalysisException: java.lang.RuntimeException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient;

有谁知道怎么做？

Answer 1

假设你在本地运行火花，你应该做类似的事情

df = spark.read.parquet("file:///metastore_db/tmp/userdata1.parquet")