Question

有没有人解决了这个错误：消息：v-html 在python中阅读镶木地板？顺便问一下，有没有办法读完整个目录？

我在Mac上使用compressions['SNAPPY'] = snappy.compress AttributeError: module 'snappy' has no attribute 'compress'到python 3，conda和snappy根据thrift

安装

代码如下：

https://pypi.python.org/pypi/parquet

或

import parquet
import json
import fastparquet

with open(data_in_path + "file.parquet/part-01snappy.parquet", 'rb') as fo:
for row in parquet.DictReader(fo, columns=['id', 'title']):
    print(json.dumps(row))

Answer 1

我遇到了同样的问题。

原因是我安装了错误的python包。您应该安装python-snappy而不是snappy

就我而言（os x），这是一个简单的两步过程：

brew install snappy
pip install python-snappy

Answer 2

无法找到snappy解决方案，因此我使用spark读取snappy中的数据，并在找到python中的每个问题后用gzip将其写回：

df.coalesce(1).write.option("overwrite","true").option("compression","gzip").parquet(dfWithGzip.parquet")

python 3 mac：snappy.compress AttributeError：模块'snappy'没有属性'compress'

2 个答案: