使用Spark R在json文件中读取时出错

时间:2016-12-31 12:42:26

标签: json r sparkr

我正在尝试按照SparkR中的教程进行操作。我按照要求进行设置。但是一旦我尝试了函数" read.json(path)"我收到以下错误:

"Error in invokeJava(isStatic = FALSE, objId$id, methodName, ...) : 
  java.lang.reflect.InvocationTargetException
  at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
  at      sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62)..."

我按照教程中的要求运行R 3.3.2和Java JDK 1.8。  我附上代码和结果的图像:

我的Java被发现了,它是正确的版本吗?

图像位于R studio中,左侧显示代码,右侧显示控制台结果:

enter image description here

1 个答案:

答案 0 :(得分:0)

解决方案:

spark-submit或sparkR实例就在那里。

使用hdfs // ...路径将json文件放在Hadoop hdfs:

hadoop-2.0.2\bin> hadoop fs -put "/example/../people.json" "/user/../people.json"

然后使用

people <- read.df (sqlContext, "/user/../people.json","json") 

阅读json并创建数据框'people'。

在我对示例dataframe.R进行必要的更改后,上面的步骤对我有用。