如何导入数据以最快的方式分析它

Question

我只是有一个问题，哪种方式可以让我获得更多的表现，并且更容易完成。我们有一个包含超过120000个数据行的DB，它存储在数据库中。这些数据目前作为CSV文件导出到ftp位置。

现在，从这个csv文件中应该创建一个webform来过滤数据集。你会对性能和工作做什么推荐。我应该解析csv文件并将信息发送到网页，还是应该将csv文件重新导入数据库（MySQL）并使用SQL查询来过滤数据（注意：原始数据库和导出位于不同的服务器上网页/网络表单。）

无法直接连接到原始服务器上的数据库。 我更喜欢将它重新上传到数据库，因为它使开发更容易，我只需要根据在webform中输入的过滤条件创建SQL查询并运行它。

有什么想法吗？

...谢谢 WorldSignia

Answer 1

数据库无疑是最好的答案。由于您希望使用Web表单来分析结果并执行复杂查询，因此另一个替代方案可能在服务器处理时间方面非常昂贵，并且实现起来非常困难。毕竟，一方面你有SQL为你处理所有过滤细节，另一方面你必须自己实现一些东西。

我建议，性能方面，您为所有您将用作标准的字段创建索引，并部分显示结果，例如每页50个以最小化加载时间。

Answer 2

  

这些数据目前作为CSV文件导出到ftp位置。

这句话中有这么多错误。

  

我应该解析csv文件并将信息发送到网页

绝对没有。

虽然技术上可行，但如果使用正确的工具，如果行数，可能会更快这是一种高风险的方法，它使代码的清晰度降低很多。虽然它可能满足您的直接要求，但它相当不灵活。

由于唯一明智的选择是转移到另一个数据库，也许您应该考虑如何做到这一点

1. 不使用FTP
2. 不使用CSV

数据过滤后会发生什么？

Answer 3

我认为带有索引的数据库可能是一个更好的解决方案，以防您需要过滤数据。实际上，这是DB用数据优化工作的想法。但是你可以描述你的工作并衡量表现。然后你只需选择..

Answer 4

好的问题。

我认为使用DB进行分析的速度更快。您可以设置Indizes并优化分析。 但是将CSV加载到数据库中可能需要一些时间。

要在没有Db的情况下分析CSV，可能需要一些时间。你必须创建一个具体的算法，这可能是很多工作：）

所以我认为你必须证明这两点并采取最佳表现......评估它们; - ）