尝试使用Topandas将Spark df转换为pandas df

时间:2019-08-26 18:46:53

标签: pyspark apache-spark-sql pyspark-sql

我正在尝试将spark数据框转换为pandas数据框,并低于错误

import pandas as pd
import numpy as np
from pyspark.sql import SparkSession,functions as f
Spark_df = spark.read.csv(r'path',header=True)
Pandas_df = Spark_df.toPandas()

错误:  py4j.protocol.Py4JError:调用o42.arrowEnabled时发生错误。跟踪: py4j.Py4JException:方法arrowEnabled([])不存在

0 个答案:

没有答案