什么应该是Spark Streaming中setJars()方法的输入

时间:2018-05-05 11:35:37

标签: apache-spark spark-streaming

val conf = new SparkConf(true)
.setAppName("Streaming Example")
.setMaster("spark://127.0.0.1:7077")
.set("spark.cassandra.connection.host","127.0.0.1")
.set("spark.cleaner.ttl","3600")
.setJars(Array("your-app.jar"))

让我们说我正在创建一个Spark Streaming Application

“your-app.jar”文件的内容应该是什么?我是否必须在本地文件系统中手动创建它并传递路径或使用sbt传递Scala编译的文件。

如果是scala文件,请帮助编写代码

由于我是初学者,我只想尝试运行一些示例代码。

1 个答案:

答案 0 :(得分:0)

SparkConf类的setJars方法接受需要在集群上分发的外部JAR。任何外部驱动程序,如JDBC等。

如果您要问的话,您不必在此处传递自己的应用程序JAR。