文件系统v / s数据库

Question

我的问题是以方法为导向。我目前正在做一些项目。所有项目都将面临大量数据需要获取和维护。我的一个项目是网络爬行系统。因为它定义网络爬行将存储大量数据。我现在正在mysql数据库中维护数据。但我怀疑如果数据库庞大会发生什么。我不想妥协于系统的速度。 我有两个问题，

1）当db变大时，MySql会面临速度问题吗？ 2）如果我为每个网站创建单独的文件并将其数据存储在该文件中该怎么办？它会对速度问题有所帮助吗？

Answer 1

1. 只要您正确地优化表和查询，MYSQL服务器就应该能够扩展，只要给它适当的资源，如RAM / CPU。您可能还需要考虑使用memcached等工具来缓存查询。
2. 将数据存储在平面文件中会降低您的webapp速度，并坚持使用数据库。

Answer 2

通常，数据库是针对性能而构建的，并且对于大量数据而言非常好。他们甚至为快速访问索引数据，并且非常聪明地获取数据（查询优化）。

因此IMO，如果你不必对数据库执行昂贵的查询（有许多很多连接），或者必须执行SQL未涵盖的查询你对关系数据库完全没问题。如果您担心磁盘空间，可以尝试使用PostgreSQL，它也具有压缩功能（以便更多数据可以保存在内存中以获得更好的性能）