使用pyspark读取csv不支持非BMP字符

时间:2018-06-29 07:20:57

标签: python csv pyspark

我想使用pyspark读取csv文件。

下面是程序代码:

from pyspark import sql, SparkConf, SparkContext

conf = SparkConf().setAppName("Read_CSV")
sc = SparkContext(conf=conf)
sqlContext = sql.SQLContext(sc)

df = sqlContext.read.csv(r"data.csv")
df.show()

UnicodeEncodeError: 'UCS-2' codec can't encode characters in position 4679-4679: Non-BMP character not supported in Tk

如何解决问题?

0 个答案:

没有答案