2.1.6 Spring Boot-Elasticsearch运行状况检查失败

时间:2019-12-17 17:28:24

标签: java spring amazon-web-services spring-boot elasticsearch

***更新-我发现了一条有用的StackOverflow帖子,其中其他人因Healthcheck监视器因Elasticsearch Springboot elastic search health management : ConnectException: Connection refused失败而遇到类似问题

运行状况检查执行器似乎使用Rest客户端,但是Elasticsearch用于映射,获取索引等使用RestHighLevelClient。我们有一个@config文件,其中包含esPort,esHost和esSchema的变量(即端口9200,主机localhost和schema http),下面是代码,下面是“ ESClient.java”类的代码:< / p>

ESClientConfig.java

package com.cat.digital.globalsearch.configuration;

        import com.cat.digital.globalsearch.component.ESClient;
        import org.apache.http.HttpHost;
        import org.springframework.beans.factory.annotation.Value;
        import org.springframework.context.annotation.Bean;
        import org.springframework.context.annotation.Configuration;

@Configuration
public class ESClientConfig {

    @Value("${elasticSearch.host}")
    private String esHost;

    @Value("${elasticSearch.port}")
    private int esPort;

    @Value("${elasticSearch.scheme}")
    private String esScheme;

    @Bean
    public ESClient esClient() {
        return new ESClient( new HttpHost(esHost, esPort, esScheme));
    }
}

ESClient.java

package com.cat.digital.globalsearch.component;

import com.cat.digital.globalsearch.model.IndexDocument;
import org.apache.http.HttpHost;
import org.elasticsearch.action.ActionListener;
import org.elasticsearch.action.admin.indices.delete.DeleteIndexRequest;
import org.elasticsearch.action.bulk.BulkRequest;
import org.elasticsearch.action.bulk.BulkResponse;
import org.elasticsearch.action.index.IndexRequest;
import org.elasticsearch.action.search.SearchRequest;
import org.elasticsearch.action.search.SearchResponse;
import org.elasticsearch.action.support.master.AcknowledgedResponse;
import org.elasticsearch.client.RestClient;
import org.elasticsearch.client.RestClientBuilder;
import org.elasticsearch.client.RestHighLevelClient;
import org.elasticsearch.client.indices.CreateIndexRequest;
import org.elasticsearch.client.indices.GetIndexRequest;
import org.elasticsearch.client.indices.PutMappingRequest;

import java.io.IOException;
import java.util.List;

import static org.elasticsearch.client.RequestOptions.DEFAULT;
import static org.elasticsearch.common.xcontent.XContentType.JSON;

/**
 * Wrapper around {@link RestHighLevelClient}
 */
public class ESClient {

    private final RestClientBuilder builder;
    private final RestHighLevelClient searchClient;

    public ESClient(HttpHost... hosts) {
        this.builder = RestClient.builder(hosts);
        searchClient = new RestHighLevelClient(RestClient.builder(hosts));
    }

/**
     * @param index String represents index name in ES
     * @return true if index exists, false if not
     */
    public boolean hasIndex(String index) throws IOException {
        final GetIndexRequest request = new GetIndexRequest(index);
        try (RestHighLevelClient client = new RestHighLevelClient(builder)) {
            return client.indices().exists(request, DEFAULT);
        }
    }

因此,现在我认为与Elasticsearch的“连接被拒绝”可能是因为在开发环境中,它没有尝试使用Rest客户端,并且没有正确的连接参数。但是,这如何解释Healthcheck监控器在本地运行良好? RestHighLevelClient是否在本地使用?

我在spring boot GitHub上发布了一个问题,并在这里被推荐。我将尝试使其尽可能简单,以便获得帮助。它实际上很简单。

TL; DR

  • 使用Spring Boot执行器为Elasticsearch服务创建自定义的Healthcheck监视器

  • 创建了1个自定义Java类,称为“ IndexExists”(下面的代码)

  • 添加了Application.yml文件:rest.uri = ['our-dev-url-on-aws']属性

我有一个在本地和远程均可正常运行的应用程序,但是,当使用Spring Boot添加自定义Healthcheck监视器以监视我的Elasticsearch服务时,我与Elasticsearch的“连接被拒绝”,并且运行状况检查监视器最终失败。我们在AWS上的负载均衡器尝试命中此端点,并且由于其返回状态:“ DOWN”(因为运行状况检查无法连接到Elasticsearch),负载均衡器开始创建新的容器。在查看CloudWatch日志时,这会无限循环重复发生(负载均衡器尝试制作更多容器)。我想添加一下,这在本地工作得非常好-也就是说,当添加运行状况检查监视器并通过POSTMAN在执行器/运行状况端点上使用HTTP GET请求时,我得到了正确的JSON响应:

来自/ actuator / health端点的本地JSON响应(GET请求)

{
    "status": "UP",
    "details": {
        "indexExists": {
            "status": "UP",
            "details": {
                "index": "exists",
                "value": "assets"
            }
        },
        "diskSpace": {
            "status": "UP",
            "details": {
                "total": 250790436864,
                "free": 194987540480,
                "threshold": 10485760
            }
        },
        "elasticsearchRest": {
            "status": "UP",
            "details": {
                "cluster_name": "elasticsearch",
                "status": "yellow",
                "timed_out": false,
                "number_of_nodes": 1,
                "number_of_data_nodes": 1,
                "active_primary_shards": 7,
                "active_shards": 7,
                "relocating_shards": 0,
                "initializing_shards": 0,
                "unassigned_shards": 5,
                "delayed_unassigned_shards": 0,
                "number_of_pending_tasks": 0,
                "number_of_in_flight_fetch": 0,
                "task_max_waiting_in_queue_millis": 0,
                "active_shards_percent_as_number": 58.333333333333336
            }
        }
    }
}

如您所见,Healthcheck监视器在顶部顶部返回“详细信息”:{“ indexExists”:etc ...}部分,该部分检查我的Elasticsearch索引是否映射到字符串=“ assets”。如果是,则返回“状态”:“向上”。

但是,当将此代码推送到Azure中的构建管道时,以便可以在开发环境中进行测试,这是得到的JSON响应:

来自/ actuator / health端点的JSON响应(GET请求)

{
    "status": "DOWN",
    "details": {
        "indexExists": {
            "status": "UP",
            "details": {
                "index": "exists",
                "value": "assets"
            }
        },
        "diskSpace": {
            "status": "UP",
            "details": {
                "total": 16776032256,
                "free": 9712218112,
                "threshold": 10485760
            }
        },
        "elasticsearchRest": {
            "status": "DOWN",
            "details": {
               "error": "java.net.ConnectException: Connection refused"
            }
        }
    }
}

我可以在我们的AWS(Amazon Web Services)集群上查看错误日志,它们看起来像这样: enter image description here

我创建并添加到我们的代码库中的Java类是 IndexExists.java 。它实现HealthIndicator()接口,并使用Spring Boot中的执行器:

IndexExists.java类

package com.cat.digital.globalsearch.component;

import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.boot.actuate.health.Health;
import org.springframework.boot.actuate.health.HealthIndicator;
import org.springframework.stereotype.Component;
import com.cat.digital.globalsearch.data.Indices;
import java.io.IOException;
import java.util.HashMap;
import java.util.Map;


@Component
public class IndexExists implements HealthIndicator {
    private final ESClient esClient;
    private static final Logger LOGGER = LoggerFactory.getLogger(IndexExists.class);
    Map<String,String> map = new HashMap<>();


    @Autowired
    public IndexExists(ESClient esClient) {
        this.esClient = esClient;
    }

    @Override
    public Health health() {
        try {
            if (!esClient.hasIndex(Indices.INDEX_ASSETS)) {
                return Health.down().withDetail("index", Indices.INDEX_ASSETS + " index does not exist").build();
            }
        } catch (IOException e) {
            LOGGER.error("Error checking if Elasticsearch index {} exists , with exception", Indices.INDEX_ASSETS,  e);
        }
        map.put("index","exists");
        map.put("value", Indices.INDEX_ASSETS);
        return Health.up().withDetails(map).build();
    }
}

我不会发布application.yml的所有代码,但这是我添加的内容。对于spring开发人员资料,我仅添加了其余的uri,其余的代码已经存在:

management:
  endpoint:
    health:
      show-details: always

spring:
  profiles: dev
elasticSearch:
  host: "aws-dev-url"
  port: -1
  scheme: https
  rest:
  uris: ["aws-dev-url"]

我希望信息不要太多!我真的需要帮助...如果有人需要更多信息,请告诉我。谢谢。

1 个答案:

答案 0 :(得分:1)

查看您的配置,看来您的应用程序正在使用Spring Data Elasticsearch。这允许Spring Data存储库由Elasticsearch索引支持,并且您还可以获得ElasticsearchRestTemplatesee reference docs)。 这就是应用程序将用于存储库的内容。

另一方面,Spring Boot提供的运行状况指示器(在另一环境中失败的指示器)正在使用org.elasticsearch.client.RestClient。 您的自定义运行状况指示器(在相同的环境中正常工作)似乎使用了一种不同的ESClient。也许此客户端配置了不同的凭据/ URI?

似乎您的application.yml文件中使用的配置名称空间不正确; spring.data.elasticsearch.host不存在。参见the reference documentation。您可以查看configuration properties in the docs的完整列表,也可以使用直接支持自动完成属性的IDE(其中很多都可以)。

如果一切都检出并且仍然失败,那么我将尝试使用例如curl命令在该其他环境中直接调用您的elasticsearch实例,以确保该实例允许Spring Boot使用的运行状况检查请求。像这样:

curl http://<host-in-other-env>:<port>/_cluster/health/<your-index>

编辑:

在对配置文件进行最新编辑后,您的应用程序似乎没有使用Elasticsearch REST自动配置。您现在可以使用以下内容编辑application.yml文件:

spring:
  elasticsearch:
    rest:
      uris: ["aws-dev-url"]

这样,我认为您的ESClient可以直接注入RestHighLevelClient,因为Spring Boot已经在创建一个了。

TLDR:运行状况指示器在本地工作,因为它使用的是默认的“ localhost:9200”地址,但在dev中却没有,因为它仍依赖于相同的默认值。使用适当的配置属性和使用Spring Boot支持应该使事情变得更容易。