尝试在Spark2中运行JavaSparkSQLExample。使用spark-core_2.11-2.0.2和spark-sql_2.11-2.0.2。有一个错误:The method createGlobalTempView(String) is undefined for the type Dataset<Row>.
实际上latest API docs没有定义此方法。 Also the programming Guide有这个。任何人都有这方面的线索。
另外,我们如何构建会话 - 因为你无法与.config("spark.some.config.option", "some-value")
一起运行。
SparkContext: Error initializing SparkContext.
org.apache.spark.SparkException: A master URL must be set in your configuration
答案 0 :(得分:0)
根据您的评论,您正在查看Spark nightly build的编程指南。它基于主分支,包含尚未发布的代码。最有可能的是,它将登陆Spark 2.2.0。另一方面,您的工件和API文档适用于最新官方可用的Spark版本 - 2.0.2。 createGlobalTempView()
仅出现在2.1中(即将推出但未提供)。因此,您不能将createGlobalTempView()
与Spark 2.0.2(工件的版本)一起使用。要查看Spark 2.0.2中可用的内容,请参阅此guide。
每个Spark应用程序都需要Master URL。您可以将其作为参数传递给spark-submit
或直接在代码中设置:
val spark = SparkSession.builder()
.appName("App name")
.master("local[4]")
.getOrCreate()