在Spark Standalone中使用SPARK-SHELL时初始化SparkContext时出错

Question

我已经安装了Scala。

我已经安装了Java 8。

所有环境变量均已设置为spark，java和Hadoop。

在运行spark-shell命令时仍然出现此错误。请有人帮忙。...在Google上搜索了很多，但没有找到任何东西。

spark-shell error spark shell error2

Answer 1

Spark的shell提供了一种学习API的简单方法，请在Spark目录中运行以下命令来启动shell：

./bin/spark-shell

然后在以下scala代码段中运行：

import org.apache.spark.sql.SparkSession
val logFile = "YOUR_SPARK_HOME/README.md" // Should be some file on your system
val spark = SparkSession.builder.appName("Simple Application").getOrCreate()
val logData = spark.read.textFile(logFile).cache()
val numAs = logData.filter(line => line.contains("a")).count()
val numBs = logData.filter(line => line.contains("b")).count()
println(s"Lines with a: $numAs, Lines with b: $numBs")

如果仍然存在静止错误，那么我们必须调查环境设置