Question

我正在上使用 hadoop 2.7.2，hbase 1.4.9，spark 2.2.0，scala 2.11.8和Java 1.8 一位主人，两位奴隶。

在启动集群后运行 spark-shel l时，它运行良好。 我正在按照以下教程尝试使用scala连接到hbase ：[https://www.youtube.com/watch?v=gGwB0kCcdu0][1]。

但是，当我尝试像他那样通过添加参数之类的jar来运行spark-shell时，出现此错误：

spark-shell --jars “ hbase-annotations-1.4.9.jar，hbase-common-1.4.9.jar，hbase-protocol-1.4.9.jar，htrace-core-3.1.0-incubating.jar，zookeeper-3.4.6.jar ，hbase-client-1.4.9.jar，hbase-hadoop2-compat-1.4.9.jar，metrics-json-3.1.2.jar，hbase-server-1.4.9.jar”

<console>:14: error: not found: value spark
       import spark.implicits._
              ^
<console>:14: error: not found: value spark
       import spark.sql
              ^

之后，即使我再次注销并再次运行spark-shell，我也遇到相同的问题。谁能告诉我原因是什么以及如何解决。

Answer 1

在您的导入语句中，Mydll.MyClass.Test()应该是spark类型的对象。该对象应该已经为您创建过。或者您需要自己创建它（请阅读spark文档）。我没有看您的教学视频。

关键是它不必称为SparkSession。例如，它可能名为spark，然后您可以执行sparkSession

找不到错误值spark import spark.implicits._ import spark.sql

1 个答案: