用于存储数百万条推文的数据模型

时间:2014-04-25 15:08:57

标签: mysql search solr nosql

由于分析相关原因,我目前存储了大约2亿条推文。它需要大约300 G的MySQL数据库。未来它仍将继续增长。我对这些数据执行了大量的搜索查询和分析查询。直到现在MySQL正在按预期运行。将来我想横向扩展并保留现有的全文查询功能和分析查询功能。我应该关注哪些选项(关系/ NoSQL)? 我目前使用solr进行全文搜索。

1 个答案:

答案 0 :(得分:2)

最终(很快)您将有太多数据供单个服务器有效处理。

Cloudera已将Hadoop与Solr集成,将全文搜索与HDFS中的分布式数据服务器集群相结合。这样,您可以通过添加更多服务器来继续扩展。

http://www.cloudera.com/content/cloudera/en/products-and-services/cdh/search.html