有可能启动一个apache Spark节点的嵌入式实例吗？

Question

我想启动一个嵌入到我的java应用程序中的独立Apache Spark集群的实例。我试图在他们的网站上找到一些文档，但还没有看。

这可能吗？

Answer 1

您可以在本地模式下创建SparkContext，您只需要将“local”作为Spark主控URL提供给SparkConf

val sparkConf = new SparkConf().
  setMaster("local[2]").
  setAppName("MySparkApp")

val sc = new SparkContext(sparkConf)

Answer 2

是的 - 您可以使用带有＆＃34; local＆＃34;的嵌入方式使用Spark。主

SparkConf sparkConf = new SparkConf();//Create new spark config
sparkConf.setMaster("local[8]"); // local, using 8 cores (you can vary the number)
sparkConf.setAppName("MyApp");
SparkContext sc = new SparkContext(sparkConf);

这将在您的JVM中运行Spark。

Answer 3

其他人回答了这个问题，但对于2020年使用Apache Spark 3.0版的人来说：

Java示例：

SparkSession spark = SparkSession.builder().appName("Your app name").master("local[*]").getOrCreate();

master（“ local [*]”）意味着以所有可用CPU内核在独立模式下运行。

Maven依赖项：

    <dependency>
      <groupId>org.apache.spark</groupId>
      <artifactId>spark-sql_2.12</artifactId>
      <version>3.0.1</version>
      <scope>provided</scope>
    </dependency>
    
    <dependency>
      <groupId>org.apache.spark</groupId>
      <artifactId>spark-core_2.12</artifactId>
      <version>3.0.1</version>
    </dependency>