Spark：JavaRDD <tuple2>到JavaPairRDD＆lt;＆gt; </tuple2>

Question

我有一个JavaRDD<Tuple2<String, String>>，需要将其转换为JavaPairRDD<String, String>。目前我只是通过编写map函数来实现它，它只返回输入元组。但我想知道是否有更好的方法？

Answer 1

JavaPairRDD.fromJavaRDD（rdd）是解决方案之一

Answer 2

对于反向转换，这似乎有效：

JavaRDD.fromRDD(JavaPairRDD.toRDD(rdd), rdd.classTag());

Answer 3

试试这个例子：

JavaRDD<Tuple2<Integer, String>> mutate = mutateFunction(rdd_world); //goes to a method that generates the RDD with a Tuple2 from a rdd_world RDD
JavaPairRDD<Integer,  String> pairs = JavaPairRDD.fromJavaRDD(mutate);

Answer 4

尝试将JavaRDD转换为JavaPairRDD。对我而言，这是完美的。

{
  "compilerOptions": {
    "module": "commonjs",
    "moduleResolution": "node",
    "target": "es5",
    "stripInternal": true,
    "sourceMap": true,
    "inlineSources": true,
    "experimentalDecorators": true,
    "emitDecoratorMetadata": true,
    "skipLibCheck": true
  },
  "include": [
    "main.ts",
    "typings/index.d.ts",
    "test/*.spec.ts"
  ]
}

Answer 5

或者，您可以在mapToPair(..)的实例上致电org.apache.spark.api.java.JavaRDD。