限制hdfs文件大小

Question

我想将hdfs文件发送给外部供应商。我们对蜂巢表使用Parquet存储格式。对于某些表，hdfs文件大小> 1 GB（在parquet.compression = GZIP之后）。

我们需要将文件大小限制为小于1 GB，才能进行文件传输。如何限制文件大小？目前，我们的块大小为128 MB。到目前为止，我的研究表明，可能没有办法限制hdfs文件的大小。