将CSV数据加载到Aurora Serverles MySQL 5.6数据库集群中

Question

Aurora无服务器需要从S3中的文本文件加载数据。目前这是不可能的。 Web应用程序用户必须将数据加载到Aurora无服务器DB中时，可以解决此问题。 如有任何宝贵建议，我将不胜感激。 问候， PG

Answer 1

我要做的工作是使用一个小的EC2 linux实例，运行一些Java代码，该代码使用Runtime.getRuntime（）。exec从AWS cli s3 cp命令中包装，以从s3复制文件我想要进入EC2实例，然后Java代码将文件的LOAD INFILE cmd运入无服务器的Aurora。

我之所以在aws cli s3 cp命令周围写包装程序（有点有点hack）的原因是b / c Java AWS开发工具包下载s3文件很痛苦。用于通过SDK下载s3文件的标准API的限制为5GB。因此，您必须对文件进行分块以通过另一个API从s3下载。然后，在编写所有代码以完成此操作后，性能会降低。在花了大约一天的时间写完之后，我想出了为什么不只包装aws cli s3 cp命令并让它为我处理5GB的限制，多线程等问题。您还可以调整其中的各种参数以进一步提高吞吐量。另外，通过使用Runtime.getRuntime（）。exec，您可以检查来自aws cli cmd的返回代码以验证其是否正确执行。