Google Cloud Dataflow TextIO是否写入.gz文件？

Question

我们如何通过Google数据流作业在GCS中创建压缩文件？

我无法指定压缩类型。如果该功能尚未出现，是否有更简洁的方法从Google BigQuery的查询输出到压缩文件？

Answer 1

您需要使用TextIO写入文件（有关所有内置I / O转换的概述，请查看here）。

您可以在代码here中看到一个示例：

{{1}}

编辑：您还可以直接从GUI将表格从BigQuery导出到gzip压缩文件：