使用AWS Glue Scala查询Athena(添加分区)

时间:2018-11-04 23:32:18

标签: scala amazon-web-services apache-spark amazon-athena aws-glue

是否可以使用Scala从Glue Script查询数据到雅典娜现有表中的ALTER TABLE ADD PARTITION?

以及可能从aws.athena.connections(OR)扩展的库

使用spark查询要从(胶水数据目录)添加的Athena表吗?

1 个答案:

答案 0 :(得分:0)

您可以使用ALTER TABLE ADD PARTITION查询或make a call to Athena进行add partition via Glue API。但是,Glue应该已经为您提供了AWS开发工具包,因此您可以使用适当的AthenaGlue客户端类。

如果您的作业在自定义VPC中运行,请确保可以访问AWS服务。