AWS Glue和跨区域访问

时间:2019-03-16 18:49:35

标签: amazon-web-services aws-sdk aws-glue aws-glue-data-catalog

我对AWS Glue有一些疑问,希望有人可以为我解答。

因此,场景是我们在us-east-1区域中设置了一个AWS账户,并且将AWS EMR和Glue用作配置单元元存储(通过emr配置)。在过去一年左右的时间里,这一直很好,并且没有打h,Glue目录中有很多DB和很多表。现在,我们要做的就是将整个项目迁移到另一个区域(相同帐户,不同区域,例如us-west-1)。因此,我将所有其他内容移到了ec2实例,sg等上。问题是我看不到us-west-1中us-east-1胶水元存储中的表。现在我的问题。

1。)AWS Glue Catalogs是否特定于区域?意思是,如果我在一个区域中用胶水创建了一个数据库/表,它是否留在该区域中?或者我可以做些什么来在所有区域中访问它?通过控制台并以编程方式。

2。)如果能够跨区域共享单个胶水元存储,那么它如何与EMR一起使用,我是否必须在EMR配置页面中指定区域属性以及其他胶水设置?

3。)如果可以使用#2,则跨区域访问胶目录是否需要付费(跨区域访问)

3。)否则,如果无法执行#2,是否必须手动从一个区域复制数据库/表并将其导入另一区域的胶水数据目录中?这是正确的方法吗?

1 个答案:

答案 0 :(得分:0)

仅适用于以后发现此问题的任何人。我最终使用我编写的Java程序移动了表,该程序使用AWS Java Glue API从一个区域读取表,然后在另一个区域创建它们。然后相同的代码从原始区域中删除表。真的没有其他办法。我们大约有1000多个表要移动,因此手动复制它们并不是一个选择。