标签： database parallel-processing mapreduce amazon-emr amazon-athena
这不是一次性的事情，它是我偶尔（一天/一周）需要做的事情，因此运行时间应该合理（我想我希望这在一个小时内）。
我的环境是aws，我曾尝试为此使用雅典娜，但遇到了内存问题。我可以将它加载到mysql之类的服务器上，但是那样的话它将是一个单线程，并且扩展性不强（不谈论运行时）。