将熊猫数据框转换为火花数据框时发生错误

时间:2019-04-03 17:03:05

标签: python-3.x pandas pyspark

将pandas数据框更改为spark数据框时出现以下错误。

由以下原因引起:java.io.IOException:CreateProcess错误= 2,系统找不到指定的文件

查找了提供的解决方案,更改了环境变量设置,但没有用。我正在使用spyder IDE

import pandas as pd
carbon = pd.read_csv('C:\python_scripts\Carbon_Footprint.csv')
from pyspark.sql import SQLContext,SparkContext
from pyspark import SparkContext,SparkConf
sc =SparkContext()
sqlCtx = SQLContext(sc)
sqlCtx.createDataFrame(carbon).show()

0 个答案:

没有答案