是否有谷歌/ aws服务将数据从谷歌商店转移到S3

Question

在我的用例中，所有谷歌相关的应用和广告数据生成将存储在谷歌商店中。但我的处理引擎在AWS云上的Spark上运行。 有人可以帮助我如何移动这个GS数据S3来处理。

提前谢谢

Answer 1

如果您的spark classpath上有google存储库，那么您的EMR代码只使用gs：// references来远程访问gcs云数据。凭借正确的凭据，它可以从任何地方访问，包括EMR。

你将会运行账单，并且必须等待较慢的读写操作。