使用Jupyter笔记本将CSV文件加载到dataframe时出错

Question

sc = pyspark.SparkContext()
sqlCxt = SQLContext(sc)
df=sqlCxt.read.format("csv").option("delimiter","|").load("D:/SparkPy/u.item")

错误：

  

错误：root：标记输入时发生意外错误   以下回溯可能已损坏或无效   错误消息是：（＆＃39;多行字符串中的EOF＆＃39;，（651,72））

Answer 1

当我将Spark更新到2.2.0版时，问题得到了解决。

Python 3.6与Spark v2.2.0兼容