数据流工作者在不同区域写入GCS桶

Question

我的数据流工作人员在亚洲地区，他们正在将avro文件写入我们地区的gcs存储桶。由于数据的区域间交易，将会有网络成本。在将这些临时文件复制到最终目标之前，AvroIO首先创建临时文件。

1. 如果临时目录和目标目录都在 在我们这个地区相同的水桶，我会产生两倍的网络成本 因为亚洲的工人首先尝试创建临时文件 然后复制临时文件？
2. 在亚洲地区拥有AvroIO的临时目录及其目的地目录是否更好？

Answer 1

您是对的 - 如果您的工作人员在亚洲并且您正在美国读书，那么您将承担额外的网络费用。最大化地点将降低成本。

祝你好运！