Question

我正在阅读.gz文件并转换为AVRO格式。当我使用codec='deflate'时。它工作正常。即，我能够转换为avro格式。当我使用codec='snappy'时，它会抛出一个错误，说明如下：

raise DataFileException("Unknown codec: %r" % codec)
avro.datafile.DataFileException: Unknown codec: 'snappy'

与deflate - ＆gt;工作正常

writer = DataFileWriter(open(avro_file, "wb"), DatumWriter(), schema, codec='deflate')

with snappy - ＆gt;抛出错误

writer = DataFileWriter(open(avro_file, "wb"), DatumWriter(), schema, codec = "snappy")

快速反应将是一个很大的帮助。

感谢。

。

Answer 1

来自avro / datafile.py

try:
  import snappy
  has_snappy = True
except ImportError:
  has_snappy = False

...

# Codecs supported by container files:
VALID_CODECS = frozenset(['null', 'deflate'])
if has_snappy:
  VALID_CODECS = frozenset.union(VALID_CODECS, ['snappy'])

所以你必须安装python-snappy lib

在python中使用带有avro的snappy的问题

1 个答案: