Spark读取CSV文件ClassCastException

Question

我像这样启动Spark 1.6.1：

./pyspark --master local[4] --packages com.databricks:spark-csv_2.10:1.0.3

我可以加载CSV文件而不会出现任何错误：

df = sqlContext.read.format('com.databricks.spark.csv').options(header='true', inferschema='true').load('/home/SparkTest.csv')

但是当我尝试看到这样的数据时：

df.head()

我得到这样的错误：

16/04/07 10:41:49 ERROR CsvRelation$: Exception while parsing line: 5,2012-01-01,53,Lucky Charms. java.lang.ClassCastException
16/04/07 10:41:49 ERROR CsvRelation$: Exception while parsing line: 6,2012-02-01,14,Cap'n Crunch. java.lang.ClassCastException

Answer 1

我使用的是较旧版本的CSV库。 当我启动spark时，当我改变为这个参数时，错误就消失了：

--packages com.databricks:spark-csv_2.11:1.4.0