使用spark

Question

我有以下格式的数据

Product1
somelines...
Iteam1
Iteam2

Product1
somelines....
Iteam1
Iteam3

我需要成对

(Product1:Item1,Item2)
(Product1:Item1,Item3)

我尝试使用以下java代码创建它（为了更多的理解而更新）

public static void main(String[] args) {
    SparkConf sparkConf = new SparkConf().setAppName("Analyzer").setMaster("local[2]").set("sparkexecutor","1g");
    JavaSparkContext ctx = new JavaSparkContext(sparkConf);
    JavaPairRDD<String,String> lines = fetchProductData(ctx);   

    static JavaPairRDD<String, String> fetchProductData(JavaSparkContext ctx) {
    JavaRDD<String> productLines = ctx.textFile("C:\\Service.log", 1);
    System.out.println("called" + productLines);
    JavaRDD<String[]> productLineMap = productLines.map(new Function<String, String[]>() {
        String productname = "";
       @Override
        public String[] call(String s) throws Exception {
            System.out.println("test"+s);
                Matcher m = PRODUCTREGEX.matcher(s);
            if(m.find()){
                productname = m.group(1);
                System.out.println("productname"+productname);
            }
            return s.split("\t");
        }
    });

    JavaPairRDD<String, String> productMapKey = productLineMap.mapToPair(new PairFunction<String[], String, String>() {
        @Override
        public Tuple2<String, String> call(String[] strings) throws Exception {
            String[] dataArray = strings[0].split(",");
            String date_s = dataArray[5];
            return new Tuple2<String, String>(dataArray[4], "product");
        }
    });
    return productMapKey;
}

}

但是我的代码中的这个语句没有被执行

System.out.println("test"+s);

任何身体都可以帮助我创造对。我正在使用java

Answer 1

• 您的调试语句未执行，因为您的驱动程序中没有任何操作，只有转换。 Spark是懒惰的，它看到你根本不使用RDD，所以它不会打扰它。
• 我是否正确，您的单个产品数据分散在多行输入文件中？在这种情况下，我会在Spark之外预处理这些数据 - 只有在排序之后，Spark才会对单个行的顺序进行处理，这样做很难甚至不可能（不确定）。我会预处理此文件以使有关产品的所有数据都以单行显示。即使输入很大，它也不会成为问题，只有少量数据的Iterator会立即加载到内存中。