如何使用Java API将文本文件，图像存储到Apache Spark中？

Question

我是Apache Spark的新手。我正在使用Windows操作系统，并且在远程Linux操作系统中安装了spark。是否可以使用Java API在Spark配置中添加IP地址和端口？请分享spark java示例。

提前致谢。

Answer 1

如果您只想玩火花，我建议您从应用程序中启动本地火花。这是一个java示例（旧的1.6语法）：

public static void trySparkTestClass() throws IOException {
    SparkConf conf = new SparkConf()
            .setMaster("local[*]")
            .setAppName("TestSparkSample");

    JavaSparkContext jsc = new JavaSparkContext(conf);
    HiveContext sqlContext = new HiveContext(jsc);
    DataFrame myJson = sqlContext.read().json("myJson");
    jsc.stop();
}