从hive获取数据并进入mysql @ AWS？

Question

我喜欢使用Sqoop，但不认为值得为此运行Cloudera堆栈@ AWS over ElasticMapReduce（我非常喜欢）。

我目前的想法只是将我需要移动的数据写入@ S3的外部表，然后编写脚本将其导入mysql。亚马逊有一些SimpleDB（example）的东西，但我也不确定那条路线？很好的生活在S3的数据，只是想知道是否有人有更好的主意。

谢谢！

Answer 1

我使用的最简单的解决方案，效果很好：

1. 正如您建议将数据放入S3存储桶中一样。您可以创建一个托管在S3上的表，例如制表符分隔格式。如果在最后一步中使用一个减速器，则最终只能使用一个文件。
2. 将数据下载到MySQL服务器，我最喜欢的工具是s3cmd
3. 使用LOAD DATA INFILE ...
将数据直接导入MySQL