ES创建数据传输

时间:2014-03-07 07:25:33

标签: elasticsearch crate

我想将数据从ES(1.0.0)迁移到Crate(当前可用的版本0.26.0)来检查它,我该怎么办? 我应该怎么做索引,ES索引适合Crate?

有人可能会想到几个流程:

  1. 平滑过渡,例如当我使用ES + Crate节点进行混合群集时,至少有一个副本,然后逐个杀死ES节点。
  2. 我们通过'elasticsearch-cloud-aws'插件进行备份是否可以'恢复'这个快照,但是有Crate节点而不是本机ES节点?
  3. 传输大块数据的其他变种,比如1TB?

    感谢。

1 个答案:

答案 0 :(得分:2)

Crate正在使用ES 1.0.1,因为0.24.0因此lucene索引是兼容的。

这意味着"平稳过渡"你描述的流程应该有效。 (但是我 实际上并没有尝试过它。

但只要群集中有非crate节点,SQL就会查询 由于常规ES节点不知道如何处理,因此箱子不起作用 请求。

你可能应该注意的更多事情,因为它可能会导致麻烦:

Crate引入了0.25.0的显式数组类型。这意味着,如果你 用例如创建一个新表create table test (id integer ...) id字段 将使用添加到lucene一段时间的新doc_values字段格式 前。如果要使用数组,则必须使用SQL创建表(使用 类型定义,如array(integer))。

如果您尝试查询使用elasticsearch插入的数据,您可能会得到 奇怪的结果,如果字段包含数组,甚至会遇到错误 缺少架构定义中的声明。

希望这会有所帮助。不幸的是,我无法给你答案 elasticsearch-cloud-aws插件,但也许其他人可以。