从客户端创建Spark会话到Hive(窗口)

时间:2017-11-07 20:50:18

标签: windows hadoop apache-spark hive yarn

我尝试在我的本地计算机上创建一个Spark会话(Windows - Intellij),并使用" Yarn"它托管在另一台服务器上。

目前,我正在编译我的软件包,将其放在边缘节点上并通过spark-submit提交。在Intellij中直接调试将节省大量时间。

val hive: SparkSession = SparkSession.
builder().
master("yarn"). // How does one redirect this to another server?
enableHiveSupport().
getOrCreate()

我对Spark很新,但仍然在学习。任何帮助都会得到真正的赞赏。

谢谢!

迈克尔

0 个答案:

没有答案