当我使用spark2.0读取json文件时:
Open Cursor_Name
For
SELECT * FROM EMP WHERE EmpId IN (Arrar_Parameter values) ------> To fetch/put all the array values at once without loop.
但失败了:
Dataset<Row> logDF = spark.read().json(path);
logDF.show();
当我使用spark 1.6时它运行正常。 错误告诉指定完全限定的类名,但我无法找到哪个类冲突。
非常感谢你!答案 0 :(得分:0)
我碰到了这个,发现下面为我工作。
df = spark.read.format("org.apache.spark.sql.execution.datasources.json.JsonFileFormat").load(path)
更多详细信息,请参见numpy print options