当我第一次尝试使用spark-shell时。火花壳没有响应。这就是我得到的,
[root @ quickstart cloudera] #spark-shell警告:用户定义 SPARK_HOME (/opt/cloudera/parcels/CDH-5.8.0-1.cdh5.8.0.p0.42/lib/spark)覆盖 检测到(/ usr / lib / spark)。警告:从中运行spark类 用户定义的位置。将默认日志级别设置为" WARN"。调整 日志级别使用sc.setLogLevel(newLevel) 欢迎来到
____ __ / __/__ ___ _____/ /__ _\ \/ _ \/ _ `/ __/ '_/ /___/ .__/\_,_/_/ /_/\_\ version 1.6.0 /_/
使用Scala版本2.10.5(Java HotSpot(TM)64位服务器VM,Java 1.7.0_67)键入表达式以对其进行求值。键入:帮助以获取更多信息。
答案 0 :(得分:0)
对于迟到的回复感到抱歉。我第一次碰巧使用了Spark-shell。虽然使用spark-shell,但一定要运行cloudera-manager'通过终端使用命令:sudo / home / cloudera / cloudera-manager [ - Express或--Enterprise]。并从Firefox登录Cloudera Manager。并确保YARN正在运行,如果没有重新启动YARN并重新启动Spark然后打开一个新终端并输入: 火花壳。 这次它应该工作,sc对象是Created。 对不起,如果我在任何地方出错,但这就是我所做的。