Question

我已成功运行以下Spark测试程序。在这个程序中，我注意到SparkContext类中的“cassandraTable”方法和“getOrCreate”方法。但我无法在此类的Spark Scala API文档中找到它。在理解这段代码时我缺少什么？我试图理解当Datastax Connector在sbt中时，这个SparkContext是如何不同的。

代码 -

import org.apache.spark.{SparkContext, SparkConf}
import com.datastax.spark.connector._

object CassandraInt {

def main(args:Array[String]){

   val SparkMasterHost = "127.0.0.1"
   val CassandraHost = "127.0.0.1"
   val conf = new SparkConf(true)
    .set("spark.cassandra.connection.host", CassandraHost)
    .set("spark.cleaner.ttl", "3600")
    .setMaster("local[12]")
    .setAppName(getClass.getSimpleName)

   // Connect to the Spark cluster:
   lazy val sc = SparkContext.getOrCreate(conf)

   val rdd = sc.cassandraTable("test", "kv")
   println(rdd.count)
   println(rdd.map(_.getInt("value")).sum)    
  }}

我使用的build.sbt文件是 -

name := "Test Project"
version := "1.0"
scalaVersion := "2.11.7"

libraryDependencies += "org.apache.spark" %% "spark-core" % "2.0.0"
libraryDependencies += "org.apache.spark" %% "spark-sql" % "2.0.0"

addCommandAlias("c1", "run-main CassandraInt")

libraryDependencies += "com.datastax.spark" %% "spark-cassandra-connector" % "2.0.0-M3"

fork in run := true

Answer 1

没有什么不同。 Spark仅支持一个有效SparkContext，而getOrCreate是the companion object上定义的方法：

此函数可用于获取或实例化SparkContext并将其注册为单例对象。因为每个JVM只能有一个活动的SparkContext，所以当应用程序可能希望共享SparkContext时，这很有用。

此方法不允许传递SparkConf（仅在检索时有用）。

总结：

如果有活动的上下文，则返回它。
否则会创建一个新的。

cassandraTable是SparkContextFunctions使用implicit conversion公开的方法。

DataStax Spark Cassandra连接器如何创建SparkContext？

1 个答案: