从SQL Server迁移到ElasticSearch

时间:2016-06-08 16:15:33

标签: elasticsearch

我正在使用azure sql server数据库,其中包含我的应用程序数据,这些数据随着时间的推移而累积,并且它的大小已经变得太大了。 因此,即使在sql server中有适当的索引,查询也越来越难。 另外,如果我想添加索引到已经非常大的数据的列将是一个问题,因为它可能会减慢sql服务器。

我想将这些数据迁移到elasticsearch,因为它们支持近乎实时的搜索和扩展目的。 我也可以用Kibana对数据进行基本分析。 我在Azure中设置了3个数据节点的elasticsearch。

据我所知,弹性已正式弃用__river,它是一个从sql导入到elasticsearch的插件。 虽然仍有JCBC驱动程序导入程序,但我不确定将数据迁移到elasticsearch的一致性,因为我的数据由多个表链接组成。 是的,可能很少有左联接将它们匹配在一起。我可以考虑运行数据并将其保存到.json文件中,然后通过将这些文件导入elasticsearch来进行卷曲。

我不确定这种方法,因为我的表数据很容易达到技嘉数据。我可以通过逐日对数据进行分组来运行sql server中的数据,然后将其索引到elasticsearch中。 我对此的关注是迁移到弹性的速度,因为我需要每天查询数据并将其转换为json文件并加载到elasticsearch中。 这会在迁移期间导致任何问题吗? 由于sql server的表非常大,我也担心这可能会运行得非常慢并且大约需要1年的数据才能运行。

导入这些数据的更好方法是什么?

提前谢谢。

0 个答案:

没有答案