在大型数据集（400GB +）上传和排序的最简单/非技术友好方式是什么？

Question

首先按日期标记排序（主要是文本）数据（按季度分隔数据，即使是在不同的文件中）。然后想要对数据执行标准函数，如条件求和。没有实质性的编程/数据库背景，但愿意花几天时间学习，我最好的选择是什么？

Answer 1

听起来您希望能够对您的数据进行一些查询。我会研究一下SQL数据库解决方案。最困难的部分是将数据导入数据库。

所有AWS的关系数据库都可以从文本文件导入： 微软的SQL Server：http://msdn.microsoft.com/en-us/library/ms178129.aspx 甲骨文：http://docs.oracle.com/cd/B28359_01/text.111/b28304/aload.htm MySQL：http://dev.mysql.com/doc/refman/5.0/en/mysqlimport.html

我的决定纯粹基于任何一个更容易加载文件的决定。如果你受预算限制，你可以下载MySQL，而不是做这整个云。假设您有足够的磁盘空间来托管数据库，请将其保留在本地计算机上。

完成后，它们都支持SQL，这使您可以轻松查询数据。如果您不想编写自己的SQL，可以使用拖放工具创建查询。但作为程序员，我强烈建议您编写自己的查询，或者回到这里寻求一些查询帮助。