Question

当尝试使用带有--as-avrodatafile和GzipCodec的Sqoop将表导入HDFS时，由于以下异常而失败，我正在运行此CDH7 Cloudera快速入门泊坞窗图像

我们是否有理由不能将Gzip与Avro一起使用，或者是否有一些缺少配置导致此问题。

注意：Gzip在没有--as-avrodatafile开关的情况下编写时可以正常工作

Error: org.apache.avro.AvroRuntimeException: Unrecognized codec: gzip
        at org.apache.avro.file.CodecFactory.fromString(CodecFactory.java:102)
        at org.apache.sqoop.mapreduce.AvroOutputFormat.configureDataFileWriter(AvroOutputFormat.java:63)
        at org.apache.sqoop.mapreduce.AvroOutputFormat.getRecordWriter(AvroOutputFormat.java:102)
        at org.apache.hadoop.mapred.MapTask$NewDirectOutputCollector.<init>(MapTask.java:647)
        at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:767)
        at org.apache.hadoop.mapred.MapTask.run(MapTask.java:341)
        at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:164)
        at java.security.AccessController.doPrivileged(Native Method)
        at javax.security.auth.Subject.doAs(Subject.java:415)
        at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1693)
        at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:158)

Answer 1

来自Avro CodecFactory

  /** Maps a codec name into a CodecFactory.
   *
   * Currently there are five codecs registered by default:
   * <ul>
   *   <li>{@code null}</li>
   *   <li>{@code deflate}</li>
   *   <li>{@code snappy}</li>
   *   <li>{@code bzip2}</li>
   *   <li>{@code xz}</li>
   * </ul>
   */

所以gzip支持sqoop中的其他输出格式，但不支持avro。

Sqoop：Avro与Gzip Codec失败

1 个答案: