Thinbug
News
启动spark R Context作业后SparkR sql Context错误
时间:2015-07-09 13:00:23
标签:
r
apache-spark
sparkr
我已经安装了sparkR包,并且我能够运行其他计算工作,例如pi计数或文档中的字数。但是当我尝试启动sparkRSql作业时,它会出错。可以帮助我吗? 我使用的是R版本3.2.0和Spark 1.3.1 >库(SparkR) > sc1< - sparkR.init(master =“local”) 使用命令/ usr / lib / jvm / java-7-oracle / bin / java -Xmx1g -cp'/home/himaanshu/R/x86_64-pc-linux-gnu-library/3.2/SparkR/sparkr-assembly-启动java 0.1.jar:'edu.berkeley.cs.amplab.sparkr.SparkRBackend / tmp / Rtmp0tAX4W / backend_port614e1c1c38f6 15/07/09 18:05:51 WARN Utils:您的主机名himaanshu-Inspiron-5520解析为环回地址:127.0.0.1;改为使用172.17.42.1(在接口docker0上) 15/07/09 18:05:51 WARN Utils:如果你需要绑定到另一个地址,请设置SPARK_LOCAL_IP 15/07/09 18:05:52 INFO Slf4jLogger:Slf4jLogger启动了 15/07/09 18:05:54 WARN SparkContext:不推荐使用SPARK_MEM来设置每个执行程序进程使用的内存量,请改用spark.executor.memory。 > sqlContext< - sparkRSQL.init(sc1) 错误:找不到函数“sparkRSQL.init” ````
1 个答案:
答案 0 :(得分:1)
你的SparkR版本是错误的。 sparkr-assembly-0.1.jar还没有包含sparkRSQL.init。
相关问题
在SparkR shell中加载com.databricks.spark.csv时作业失败
启动spark R Context作业后SparkR sql Context错误
从sparkR作业导出数据
阶段失败错误
错误"此上下文的无效作业类型"使用Spark作业服务器在spark SQL作业中
SparkR作业处理依赖项
Java中的SparkR上下文
How to kill SparkR job
"由于阶段失败而导致工作中止"在SparkR
在Databricks中启动R集群后,如何从AWS中提取大数据?
最新问题
我写了这段代码,但我无法理解我的错误
我无法从一个代码实例的列表中删除 None 值,但我可以在另一个实例中。为什么它适用于一个细分市场而不适用于另一个细分市场?
是否有可能使 loadstring 不可能等于打印?卢阿
java中的random.expovariate()
Appscript 通过会议在 Google 日历中发送电子邮件和创建活动
为什么我的 Onclick 箭头功能在 React 中不起作用?
在此代码中是否有使用“this”的替代方法?
在 SQL Server 和 PostgreSQL 上查询,我如何从第一个表获得第二个表的可视化
每千个数字得到
更新了城市边界 KML 文件的来源?