启动spark R Context作业后SparkR sql Context错误

时间:2015-07-09 13:00:23

标签: r apache-spark sparkr

我已经安装了sparkR包,并且我能够运行其他计算工作,例如pi计数或文档中的字数。但是当我尝试启动sparkRSql作业时,它会出错。可以帮助我吗? 我使用的是R版本3.2.0和Spark 1.3.1 >库(SparkR) > sc1< - sparkR.init(master =“local”) 使用命令/ usr / lib / jvm / java-7-oracle / bin / java -Xmx1g -cp'/home/himaanshu/R/x86_64-pc-linux-gnu-library/3.2/SparkR/sparkr-assembly-启动java 0.1.jar:'edu.berkeley.cs.amplab.sparkr.SparkRBackend / tmp / Rtmp0tAX4W / backend_port614e1c1c38f6 15/07/09 18:05:51 WARN Utils:您的主机名himaanshu-Inspiron-5520解析为环回地址:127.0.0.1;改为使用172.17.42.1(在接口docker0上) 15/07/09 18:05:51 WARN Utils:如果你需要绑定到另一个地址,请设置SPARK_LOCAL_IP 15/07/09 18:05:52 INFO Slf4jLogger:Slf4jLogger启动了 15/07/09 18:05:54 WARN SparkContext:不推荐使用SPARK_MEM来设置每个执行程序进程使用的内存量,请改用spark.executor.memory。 > sqlContext< - sparkRSQL.init(sc1) 错误:找不到函数“sparkRSQL.init” ````

1 个答案:

答案 0 :(得分:1)

你的SparkR版本是错误的。 sparkr-assembly-0.1.jar还没有包含sparkRSQL.init。