从gzip压缩的CSV文件将数据上传到数据存储区？

Question

我有一个非常大的gzip csv文件（大约500GB），我需要使用批量加载工具在数据存储区中导入。是否有可能不必先解压缩？如果是，我如何配置bulkload.yaml文件？

transformers:

- kind: Client
    connector: csv
    connector_options:
      encoding: zip?

Answer 1

如何使用命名管道。

mkfifo --mode=0666 /tmp/namedPipe
gzip --stdout -d file.gz > /tmp/namedPipe

然后在另一个终端中或者如果你用＆amp;

分离了gzip命令

appcfg.py upload_data --config_file=bulkloader.yaml --filename=/tmp/namedPipe --kind=YOUR_DATA_KIND 

取自http://en.wikipedia.org/wiki/Named_pipe

的示例