我尝试在我的本地计算机上创建一个Spark会话(Windows - Intellij),并使用" Yarn"它托管在另一台服务器上。
目前,我正在编译我的软件包,将其放在边缘节点上并通过spark-submit提交。在Intellij中直接调试将节省大量时间。
val hive: SparkSession = SparkSession.
builder().
master("yarn"). // How does one redirect this to another server?
enableHiveSupport().
getOrCreate()
我对Spark很新,但仍然在学习。任何帮助都会得到真正的赞赏。
谢谢!
迈克尔