我们正在使用ES-HADOOP插件将数据从Hadoop HBASE表推送到Elasticsearch集群。以下是群集详细信息。
数据节点也是主节点。
当我们在Spark上执行作业时，在我们开始获取ElasticSearch Bailing Out一段时间之后我们将数据从Hadoop推送到Elasticsearch的阶段。
我们怀疑Elasticsearch可以为Bulk API处理的并发连接数量已超过Spark Executors，因为Elasticsearch开始拒绝写入请求后发布最大连接数。
我们如何确定ElasticSearch Client节点可以处理多少并发批量API连接并成功写入数据？每个BULK API REQUEST应该是最大文档数量？
我们应该考虑哪些参数来优化ElasticSearch集群以进行写操作，我们需要在一小时内索引80-90 GB数据？