AWS S3-插入存储桶的ORC表中

时间:2020-01-23 04:50:47

标签: amazon-s3 amazon-athena orc

我正在考虑将数据存储在XML的{​​{1}}中,以便通过API进行查询。

我想像这样对数据进行分区...

org.openxmlformats.schemas.drawingml.x2006.chart.CTTrendline

...并按ID进一步存储数据(每个S3每月都有多个记录,其中有很多ID)

我希望能够每天在此结构中插入新数据...我知道我不能使用Athena的ORC format语句,因为不支持存储桶表。

每天将数据插入此结构的表中的最佳方法是什么?甚至可以对存储的数据进行处理吗?

欢呼

1 个答案:

答案 0 :(得分:0)

Presto允许从Presto 312开始插入存储分区表的现有分区。如果Athena不支持此功能,则您可以轻松地自己运行Presto集群,例如使用Starburst Presto AWS integration(由于其他原因,我也可以推荐这样做,因为如果您运行多个查询,它比使用Athena便宜得多。免责声明:我来自Starburst)