如何使用RHadoop(rmr2)使用json模式保存avro文件?

时间:2015-09-28 06:58:45

标签: r avro rhadoop

使用make.output.format的avro输出格式的示例实现使用" bytes"作为架构。相反,我想为avro文件指定一个json架构。我找不到怎么做到这一点。我想会有一些backend.parameters来定义它。

avro.output.format =
  function(kv, con)
    writeLines(
      unlist(
        rmr2:::reduce.keyval(
          kv,
          function(k, v)
            paste(
              toJSON(k, .escapeEscapes = TRUE),
              toJSON(v, .escapeEscapes = TRUE),
              sep = "\t"))),
      con = con)

avroOF =
  make.output.format(
    format = avro.output.format,
    mode = "text",
    streaming.format = "org.apache.avro.mapred.AvroTextOutputFormat",
    backend.parameters =
      list(
        hadoop =
          list(
            libjars = avro.jar)))

0 个答案:

没有答案