Question

在这里火花新手。根据我在网上找到的说明，我在本地Windows开发计算机上安装了spark。 WebUI的Spark属性为

spark.app.name  Spark shell
spark.driver.host   192.168.2.131
spark.driver.port   53796
spark.executor.id   driver
spark.home  C:\BigData\spark
spark.master    local[*]

现在在我的本地计算机上的Java Web应用程序中，当我尝试使用代码创建连接到spark会话时，会创建一个新的本地spark会话，该会话指向甚至位于同一台计算机上的不同主机和端口

    SparkConf conf = new SparkConf()
                        .set("spark.serializer", "org.apache.spark.serializer.KryoSerializer");
    Globals.spark = SparkSession.builder()
                            .master("local[2]")
                            .appName("test")
                            .config(conf)
                            .getOrCreate();

新创建的Spark会话的属性

spark.app.name  test
spark.driver.host   192.168.2.198
spark.driver.port   57755
spark.executor.id   driver
spark.master    local[2]

如何连接到已在本地计算机上运行的spark会话？我想这样做是因为我希望能够添加执行程序并修改属性在我的本地计算机上调试应用程序，然后再将其应用到生产集群中。

Answer 1

这不是Spark的工作方式：运行后，您将无法从外部连接到Spark会话。如果要对其进行调整，请修改一些参数，您必须先进行此操作。

查看https://developer.ibm.com/code/open/projects/spark-bench/。 Spark Bench将允许您以自动化方式进行操作。我希望这将帮助您解决用例。

无法连接到本地Spark会话

1 个答案: