想要使用AWS胶搜寻器针对s3 sqlite文件自动创建/删除表

时间:2020-08-03 20:50:46

标签: amazon-s3 aws-lambda amazon-rds aws-glue

我有s3文件夹,其中会定期上传sqlite文件。这些文件具有包含多个表的完整sqlite数据库。我的目标是将这些文件中的所有数据推送到亚马逊RDS。我为此使用lambda。我为其中一个表创建了一个测试csv文件。上载到s3。现在,我正在使用Glue搜寻器来创建相应的表。使用lambda中的Java代码来查询该文件。这一切都很好。我不知道如何以编程方式创建这些搜寻器/表等。另一个挑战是将文件中的每个表的sqlite转换为csv。不知道是否可以将整个数据库转换为Apache Parquet和搜寻器之类的格式,从而为我创建多个表。将其爬到RDS之后,我不需要搜寻器创建的表。所以想知道我是否可以使用单个搜寻器并在将新文件添加到s3时不断更改其来源。

0 个答案:

没有答案