Question

请耐心等待。我有三个RDD（来自Hadoop）。所有三个都有唯一的键，如ippaddress和boxnumber，可以匹配/连接。以下是所有表格的一些示例数据。表A列boxnumber必须先转换为数字才能匹配。

Table A:
ipaddress|boxnumber|cardnumber  
94.254.57.16|59774DEa1|0D1EDF40
94.154.57.176|5F7377Ga9|0D3F796D

Table B:
cardno,boxnumber
1500914,2000096
1500413,2211469

Table C:
ipaddress|kanal|bitrate|kanaltimespent|date|country
94.254.57.16|sky|2023|003DF6A.ts|12-02-2016|chile
94.154.57.176|ITV|3425|003DF6A.ts|23-04-2014|egypt

我在java中的第一次尝试：

    //TABLE A
    JavaSparkContext sc = SetupSparkContext("SparkSample");     
    JavaRDD<ExtractTable_A> ta_RDD= ExtractTable_A.getRDD(sc);
    JavaPairRDD<String, ExtractTable_A> A_PairRDD = ta_RDD.mapToPair(new PairFunction<extractTable_A, String, ExtractTable_A>()
    {
     @Override
     public Tuple2<String, ExtractTable_A> call(ExtractTable_A extractTable_A) throws Exception
     {
         String [] A= extractTable_A.toString().split("|") ;
         return new Tuple2<>(A[0],extractTable_A);
      }
    });
   //TABLE B
   JavaRDD<ExtractOttPdl> tb_RDD = ExtractTableB.getRDD(sc);    
   JavaPairRDD<String, ExtractTable_B> BPairRDD = tb_RDD.mapToPair(new PairFunction<extractTable_B, String, ExtractTable_B>()
    {
     @Override
     public Tuple2<String, ExtractTable_B> call(ExtractTable_B extractTable_B) throws Exception
     {
         String [] B= extractTable_B.toString().split(",") ;
         return new Tuple2<>(B[1],extractTable_B);
      }
    });

   //TABE C
    JavaRDD<ExtractTable_C> tc_RDD = ExtractTableC.getRDD(sc);      
    JavaPairRDD<String, ExtractTable_C> CPairRDD = tb_RDD.mapToPair(new PairFunction<extractTable_C, String, ExtractTable_C>()
    {
     @Override
     public Tuple2<String, ExtractTableC> call(ExtractTableC extractTable_C) throws Exception
     {
         String [] C= extractTable_A.toString().split("|") ;
         return new Tuple2<>(C[0],extractTable_A);
      }
    });

    //At this point i need to join and create an .txt output file

最终结果应该是包含这些标题的文件

 KANAL|BITRATE|TIMESPENT|DATE|COUNTRY

===更新=== 我已经设法加入表A和表B，但现在我被困在如何将TableC加入表A？

     //Joined table A and B  
     JavaPairRDD<String, Tuple2<ExtractTableA, ExtractTableB>> join_1 = A_PairRDD.join(B_PairRDD); 
    . . .
     //Joined table A and C  
     JavaPairRDD<String, Tuple2<ExtractTableA, ExtractTableC>> Join_2 = A_PairRDD.join(B_PairRDD); 


    // Output results from TableA and TableB
    join_1.map(in -> {
    return new ResultStringBuilder("|")
                .append(Long.parseLong((in._2()._1().getCardno().trim()),16))
                .append(Long.parseLong((in._2()._1().getBoxno().trim()),16))
                .append(in._2()._2().getBoxno())
                *** HERE I NEED TO ALSO APPEND THE COLUMN FROM TableC 
                .toString();
    })
            .saveAsTextFile("c:\outfile");

Answer 1

请记住，当您使用spark API时，您总是希望在修改RDD结构中的任何内容时创建新的RDD，因为RDD是不可变的。

为了在这种情况下进行三方联接，加入前两个表后需要创建一个新的JavaPairRDD，因为你想要一个具有新键值对的PairRDD，因为表A，B，C的唯一键是不同的。可以有两种方法（首先加入AB或首先加入AC）你可以加入表格的方式如下：

表A - 表B（带钥匙的PairRDD：boxnumber或cardnumber或两者兼有）

在连接表A和表B后，您需要创建一个带有密钥ipaddress的新PairRDD，因为您想要与表C一起加入。

// joinedAB is RDD resulting from join operation of Table A and C
JavaPairRDD joinedABForC = joinedAB.map(l -> new Tuple2(l[0], l));
// now joinedABForC has ipaddress as the RDD's key
// join rdd joinedABForC with Table C

在我们将唯一列移动到pairRdd的键之后，您现在可以将它与表C连接并完成三向连接。

加入表AB - 表C（PairRdd with key：ipaddress）

如何使用java在spark中加入3个RDD表？

1 个答案: