val conf = new SparkConf(true)
.setAppName("Streaming Example")
.setMaster("spark://127.0.0.1:7077")
.set("spark.cassandra.connection.host","127.0.0.1")
.set("spark.cleaner.ttl","3600")
.setJars(Array("your-app.jar"))
让我们说我正在创建一个Spark Streaming Application
“your-app.jar”文件的内容应该是什么?我是否必须在本地文件系统中手动创建它并传递路径或使用sbt传递Scala编译的文件。
如果是scala文件,请帮助编写代码
由于我是初学者,我只想尝试运行一些示例代码。
答案 0 :(得分:0)
SparkConf类的setJars方法接受需要在集群上分发的外部JAR。任何外部驱动程序,如JDBC等。
如果您要问的话,您不必在此处传递自己的应用程序JAR。