在AWS Elasticsearch Service中使用Spark并行索引多个数据集

时间:2018-06-28 11:14:37

标签: elasticsearch

我们有一个用例,我们需要在AWS Elastic Search集群中使用Spark并行索引多个数据集。在进行必要的配置设置后,使用一个命令并行加载n个数据集时,过程运行良好。当我们在进行一个索引操作并且ES开始丢弃数据包并且索引失败时尝试对更多数据集进行索引时,就会遇到问题。

为解决此问题,我们尝试编写代码以自动缩放Elastic Search集群,尽管由于集群处于挂起状态且永远不会回来,因此在扩展集群时遇到了问题。我们还向AWS提出了此问题,并在下面找到了回应。  “嗨,

发生此问题的原因是由于实例删除后,附加到域的1个ENI未能分离。

进行任何更改时,我们进行蓝/绿部署,将新节点联机并附加ENI,当删除节点时情况相反,此命令未能完成并导致整个过程停止

如果您还有其他疑问,请告诉我。我很乐意进一步协助。  ”  导致上述问题解决的线索倍受赞赏。

0 个答案:

没有答案