Flink-BucketingSink到GCS上的多个存储桶

Question

我一直试图将序列文件写入GCS存储桶，并且不得不根据数据中的特定字段来管理其分区。这样就创建了每秒（约100个存储桶/秒）写入多个配置单元分区目录（在同一GCS存储桶内）的场景。

由于堆空间不足，作业在几分钟后失败。

我还使用VisualVM进行了一些内存分析，发现MediaHttpUploader占用了大部分内存，并且不经常释放内存。

即使在失败/取消工作之后，我仍然看到内存峰值仍然保持原样（内存泄漏？）。有人可以推荐一种解决方法吗？