Question

我的笔记本电脑上运行了scala（IntelliJ）。我还在机器A，B，C上运行Spark和Cassandra（使用DataStax的3节点集群，在分析模式下运行）。我尝试在Cluster上运行Scala程序，它们运行正常。我需要在笔记本电脑上创建代码并使用IntelliJ运行。我如何连接和运行。我知道我在代码中犯了错误。我用了一般的词。我需要帮助编写特定的代码？示例：Localhost不正确。

 import org.apache.spark.{SparkContext, SparkConf}

  object HelloWorld {
  def main(args: Array[String]) {

    val conf = new SparkConf(true).set("spark:master", "localhost")
    val sc = new SparkContext(conf)
    val data = sc.cassandraTable("my_keyspace", "my_table") 

  }

}

Answer 1

val conf = new SparkConf().setAppName("APP_NAME")
    .setMaster("local")
    .set("spark.cassandra.connection.host", "localhost")
    .set("spark.cassandra.auth.username", "")
    .set("spark.cassandra.auth.password", "")

使用上面的代码连接到本地spark和cassandra。如果您的cassandra集群已启用身份验证，请使用用户名和密码。

如果您想连接到远程spark和cassandra集群，请将localhost替换为cassandra主机，并在setMaster中使用spark:\\SPARK_HOST

Scala代码连接到Spark和Cassandra

1 个答案: