如何在不使用胶水的情况下以编程方式将S3的镶木地板数据加载到Athena

Question

我在S3位置有实木复合地板数据，需要将其加载到Athena进行查询。但是我不想从Web UI手动加载或手动运行查询。我们可以通过运行代码并传递S3位置来以编程方式进行操作吗？

我不想使用胶水，因为并非在所有地区都可以使用。您能帮我提供代码吗，因为我对Athena还是很陌生。

Answer 1

为了从Athena查询您的S3数据，您只需要告诉Athena数据位置以及有关列，数据类型，文件格式等的详细信息。为清楚起见，没有“加载”-Athena从字面上访问S3文件到位。如果您更改了这些基础文件，那么雅典娜将相应地更改。

最好不要考虑向Athena注册数据，而不是“加载”到Athena。您可以通过创建外部表来实现。这个答案有一个很好的例子。 How to Query parquet data from Amazon Athena?

如果您不知道创建外部表的正确语法，建议您使用Glue的功能来创建数据定义，这是一次性的练习。在那里，您可以在Athena中运行SHOW CREATE TABLE my_table，这将向您显示为创建表而执行的语句。

使用Athena通常不需要胶水-这是上手的简单方法，但这只是需要花费时间，增加复杂性等的另一步。