Question

我有以下格式的JavaPairRDD：

JavaPairRDD< String, Tuple2< String, List< String>>> myData;

我想将其保存为键值格式(String, Tuple2< String, List< String>>)。

myData.saveAsXXXFile("output-path");

所以我的下一份工作可以直接将数据读入我的JavaPairRDD：

JavaPairRDD< String, Tuple2< String, List< String>>> newData = context.XXXFile("output-path");

我正在使用Java 7，Spark 1.2，Java API。我尝试了saveAsTextFile和saveAsObjectFile，但都没有效果。我的日食中没有看到saveAsSequenceFile选项。

有没有人对此问题有任何建议？非常感谢你！

Answer 1

您可以使用通过scala中的implicits使用的SequenceFileRDDFunctions，但这可能比使用java的常用建议更糟糕：

myData.saveAsHadoopFile(fileName, Text.class, CustomWritable.class,
                        SequenceFileOutputFormat.class);

通过扩展

实施CustomWritable

org.apache.hadoop.io.Writable

这样的东西应该有用（没有检查编译）：

public class MyWritable extends Writable{
  private String _1;
  private String[] _2;

  public MyWritable(Tuple2<String, String[]> data){
    _1 = data._1;
    _2 = data._2;
  }

  public Tuple2<String, String[]> get(){
    return new Tuple2(_1, _2);
  }

  @Override
  public void readFields(DataInput in) throws IOException {
    _1 = WritableUtils.readString(in);
    ArrayWritable _2Writable = new ArrayWritable();
    _2Writable.readFields(in);
    _2 = _2Writable.toStrings();
  }

  @Override
  public void write(DataOutput out) throws IOException {
    Text.writeString(out, _1);
    ArrayWritable _2Writable = new ArrayWritable(_2);
    _2Writable.write(out);
  }
}

使其适合您的数据模型。

在Spark中保存并读取键值对

1 个答案: