spark2.0 error读取json文件时为json找到多个源代码

时间:2016-08-04 08:12:53

标签: apache-spark apache-spark-sql

当我使用spark2.0读取json文件时:

Open Cursor_Name
For 
SELECT * FROM EMP WHERE EmpId IN (Arrar_Parameter values) ------> To fetch/put all the array values at once without loop.

但失败了:

Dataset<Row> logDF = spark.read().json(path);
logDF.show();

当我使用spark 1.6时它运行正常。 错误告诉指定完全限定的类名,但我无法找到哪个类冲突。

非常感谢你!

1 个答案:

答案 0 :(得分:0)

我碰到了这个,发现下面为我工作。

df = spark.read.format("org.apache.spark.sql.execution.datasources.json.JsonFileFormat").load(path)

更多详细信息,请参见numpy print options