Google Dataflow不按顺序编写

时间:2017-06-17 10:56:29

标签: google-cloud-platform google-cloud-dataflow

我有PCollection<List<KV<String,Long>>,我使用Top转换和OrderByValue对列表进行了排序,但是当我将结果写入文件时,它不是有序的。

public class StringFormatResult extends DoFn<List<KV<String, Long>>, String> {    

    @Override
    public void processElement(ProcessContext context) {
        for (KV<String, Long> item : context.element()) {
            context.output(item.getKey() + " | " + item.getValue());
        }
    }
} 



p.apply(TextIO.Read.named("ReadLines").from(options.getInputFile()))
     .apply("Word counter phase",new WordCounter())     
     .apply(TextIO.Write.named("WriteCounts").to(options.getOutputFile()).withoutSharding());

    p.run();

0 个答案:

没有答案