Question

我一直在火花独立上尝试一个简单的wordcount应用程序。我有1台Windows机器和1台Linux机器， Windows运行Master＆amp;奴隶 Linux运行奴隶。

连接速度很快很简单。我试图避免使用hdfs但我确实想要在集群上工作。到目前为止我的代码是：

    String fileName = "full path at client";
    File file = new File(fileName);
    Path filePath = new Path(file);
    String uri= filePath.toURI().toString();
    SparkConf conf = new sparkConf().setAppName("stam").setMaster("spark://192.168.15.17:7077").setJars(new String[] { ..,.. });
    sc = new JavaSparkContext(conf);
    sc.addFile(uri);
    JavaRDD<String> textFile = sc.textFile(SparkFiles.get(getOnlyFileName(fileName))).cache();

失败

输入路径不存在：........ 要么 java.net.URISyntaxException：绝对URI中的相对路径

取决于我尝试的，错误来自linux slave

知道这可能吗？该文件正被复制到所有从属工作目录。请帮忙

Answer 1

这不可能。我已经从独立转变为纱线

没有hdfs的独立火花

1 个答案: