使用Elasticsearch作为备份存储

时间:2014-03-13 14:58:20

标签: elasticsearch backup

我的应用程序接收并解析数千个小JSON片段,每个片段每小时约1Kb。我想创建所有传入JSON代码段的备份。

使用Elasticsearch在f.ex中的索引中备份此代码段是一个好主意。 "number_of_replicas:" 4?从来没有读过任何人为此使用过Elasticsearch。

当我使用服务器和副本集群时,我的数据在Elasticsearch中是否安全?或者我应该为这个用例更好地使用另一个存储空间?

(将它写入本地文件系统是不安全的,因为我们的硬盘经常崩溃。首先我考虑过使用HDFS,但这不适用于小文件。)

1 个答案:

答案 0 :(得分:2)

首先,您需要找到副本与备份之间的区别

副本在运行时是多个数据副本。它增加了高可用性和故障转移支持,它不支持意外删除数据。

备份是备份时整个数据的副本。系统崩溃时将用于恢复。

弹性搜索备份..这不是个好主意.. 弹性搜索是一个搜索引擎而非数据库。如果您没有仔细配置ES群集,那么最终会导致数据丢失。

所以在我看来, 为了存储json对象,我们得到了很多dbs。例如mongodb是一个nosql db.We可以很容易地配置它有更多副本。这意味着数据的高可用性和故障转移支持。正如你问它也开源更可靠。 有关mongodb的更多信息,请参阅https://www.mongodb.org/

<强>更新 在elasticsearch中,如果创建具有更多分片的索引,它将在节点之间分配。如果节点失败则数据将丢失。但是在mongoDB中,更多节点意味着每个mongodb节点包含其自己的数据副本。如果是mongodb然后我们可以从副本mongodbs中检索出数据。我们需要更加关注Elasticsearch中的副本设置和分片分配。但是在mongoDB中它也是更容易和更好的架构。

注意:我没有说在弹性搜索中存储数据是不安全的。我的意思是,与mongodb相比,在弹性搜索中配置复制和维护很困难。

希望它有帮助..!