Question

我试图将变换应用于使用ParDo的Apache波束中的Map对象的PCollection。我指定Map作为第一个DoFn的输出类型，并指定Map作为下一个DoFn的输入类型。但是，我收到以下错误：

[ERROR]无法执行目标org.codehaus.mojo：exec-maven-plugin：1.6.0：java（default-cli）on project word-count-beam：执行Java时发生异常类。调用Coder工厂方法public static时出错 org.apache.beam.sdk.coders.MapCoder org.apache.beam.sdk.coders.MapCoder.of（org.apache.beam.sdk.coders.Coder，org.apache.beam.sdk.coders.Coder）： 错误的参数数量 - ＆gt; [帮助1]

这是我的代码：

  static class GetProductName extends DoFn<String, Map> {
    @ProcessElement
    public void processElement(ProcessContext c) {
      {...}
      Map<String, String> properties = new HashMap<>();
      properties.put("name", "test_name");
      properties.put("sku", "test_sku");

      // Use ProcessContext.output to emit the output element.
      c.output(properties);
    }
  }

  static class FormatForDatastore extends DoFn<Map, Entity> {
    @ProcessElement
    public void processElement(ProcessContext c) {
      Map<String, String> product = new HashMap<>();
      product = c.element();
    {...}
    }
  }

  public static void main(String[] args) {
    WordCountOptions options = PipelineOptionsFactory.fromArgs(args).withValidation().as(WordCountOptions.class);
    Pipeline p = Pipeline.create(options);

    // apply transforms
    p.apply("ReadJSONLines", TextIO.read().from(options.getInputFile()))
     .apply(ParDo.of(new GetProductName()))
     .apply(ParDo.of(new FormatForDatastore()))
     {...}
   }

任何想法是什么问题？

我不确定如何解释错误。我做了一些测试，通过编辑代码来转换类型为String的PCollection而不是Map类型，它可以正常工作。但是，我想在这些转换之间传递多个键值对。欢迎提出替代方案的建议。

Answer 1

您正在使用原始类型地图。尝试使用正确的泛型Map<String,String>。

不能转换包含类型Map的PCollection - ＆＃34;错误的参数数量＆＃34;

1 个答案: