Question

我们的solrServer客户端连接池很快就会出现问题，即使使用了几百个池（我们已经试过1024，只是为了好的测量）。

根据我的阅读，不使用单例HttpSolrServer对象可能会导致以下异常。但是，请参阅下面的XML配置：

Caused by: org.apache.http.conn.ConnectionPoolTimeoutException: Timeout waiting for connection from pool
        at org.apache.http.impl.conn.PoolingClientConnectionManager.leaseConnection(PoolingClientConnectionManager.java:232)
        at org.apache.http.impl.conn.PoolingClientConnectionManager$1.getConnection(PoolingClientConnectionManager.java:199)
        at org.apache.http.impl.client.DefaultRequestDirector.execute(DefaultRequestDirector.java:455)
        at org.apache.http.impl.client.AbstractHttpClient.execute(AbstractHttpClient.java:906)
        at org.apache.http.impl.client.AbstractHttpClient.execute(AbstractHttpClient.java:805)
        at org.apache.http.impl.client.AbstractHttpClient.execute(AbstractHttpClient.java:784)
        at org.apache.solr.client.solrj.impl.HttpSolrServer.executeMethod(HttpSolrServer.java:448)

XML配置：

<solr:solr-server id="solrServer" url="http://solr.url.domain/"/>
<solr:repositories base-package="de.ourpackage.data.solr" multicore-support="true"/>

此时，我们不知所措。我们在tomcat7上运行Web应用程序。每当用户请求新网站时，我们都会向Solr服务器发送一个或多个请求，请求我们需要的任何内容，通常是单个条目或20个页面（使用Spring数据）。

至于我们实现的其余部分，我们使用了一个抽象的SolrOperationsrepository类，它由每个存储库（每个核心的一个存储库）扩展。

以下是我们设置solrServer的方法。我怀疑我们在这里做了一些根本性的错误，这就是为什么我们的连接溢出。 根据日志，他们总是被送回游泳池，顺便说一句。

private SolrOperations solrOperations;

    @SuppressWarnings("unchecked")
    public final Class<T> getEntityClass() {
        return (Class<T>)((ParameterizedType)getClass().getGenericSuperclass()).getActualTypeArguments()[0];
    }

    public final SolrOperations getSolrOperations() {
        /*HttpSolrServer solrServer = (HttpSolrServer)solrOperations.getSolrServer();
        solrServer.getHttpClient().getConnectionManager().closeIdleConnections(500, TimeUnit.MILLISECONDS);*/
        logger.info("solrOperations: " + solrOperations);
        return solrOperations;
    }

    @Autowired
    public final void setSolrServer(SolrServer solrServer) {
        try {
            String core = SolrServerUtils.resolveSolrCoreName(getEntityClass());
            SolrTemplate template = templateHolder.get(core);
            /*solrServer.setConnectionTimeout(500);
            solrServer.setMaxTotalConnections(2048);
            solrServer.setDefaultMaxConnectionsPerHost(2048);
            solrServer.getHttpClient().getConnectionManager().closeIdleConnections(500, TimeUnit.MILLISECONDS);*/

            if ( template == null ) {
                template = new SolrTemplate(new MulticoreSolrServerFactory(solrServer));
                template.setSolrCore(core);
                template.afterPropertiesSet();

                logger.debug("Creating new SolrTemplate for core '" + core + "'");
                templateHolder.put(core, template);
            }
            logger.debug("setting SolrServer " + template);

            this.solrOperations = template;
        } catch (Exception e) {
            logger.error("cannot set solrServer...", e);
        }
    }

注释掉的代码主要用于测试目的。我还在其他地方读到你不能动态操作solrServer对象。这引出了一个问题，如何在XML配置中设置超时/池大小？

存储库的实现如下所示：

@Repository(value="stellenanzeigenSolrRepository")
public class StellenanzeigenSolrRepositoryImpl extends SolrOperationsRepository<Stellenanzeige> implements StellenanzeigenSolrRepositoryCustom {
...
    public Query createQuery(Criteria criteria, Sort sort, Pageable pageable) {
        Query resultQuery = new SimpleQuery(criteria);
        if ( pageable != null ) resultQuery.setPageRequest(pageable);
        if ( sort != null ) resultQuery.addSort(sort);
        return resultQuery;
    }

    public Page<Stellenanzeige> findBySearchtext(String searchtext, Pageable pageable) {
        Criteria searchtextCriteria = createSearchtextCriteria(searchtext);
        Query query = createQuery(searchtextCriteria, null, pageable);
        return getSolrOperations().queryForPage(query, getEntityClass());
    }
...
}

你们有没有人指出我们所犯的错误，这可能导致这个问题？就像我说的，我们不知所措。在此先感谢，我会在我们取得进展或您要求提供更多信息时更新问题。

Answer 1

MulticoreServerFactory总是返回HttpClient的对象，该对象只允许2个并发连接到同一主机，从而导致上述问题。

这似乎是spring-data-solr的一个错误，可以通过创建自定义工厂并覆盖一些方法来解决这个问题。

编辑：MultiCoreSolrServerFactory中的clone方法已损坏。这还没有得到纠正。由于我的一些同事最近遇到过这个问题，我将在这里发布一个解决方法 - 创建自己的类并覆盖一个方法。

public class CustomMulticoreSolrServerFactory extends MulticoreSolrServerFactory {

    public CustomMulticoreSolrServerFactory(final SolrServer solrServer) {
        super(solrServer);
    }

    @Override
    protected SolrServer createServerForCore(final SolrServer reference, final String core) {
        // There is a bug in the original SolrServerUtils.cloneHttpSolrServer()
        // method
        // that doesn't clone the ConnectionManager and always returns the
        // default
        // PoolingClientConnectionManager with a maximum of 2 connections per
        // host

        if (StringUtils.hasText(core) && reference instanceof HttpSolrServer) {
            HttpClient client = ((HttpSolrServer) reference).getHttpClient();
            String baseURL = ((HttpSolrServer) reference).getBaseURL();
            baseURL = SolrServerUtils.appendCoreToBaseUrl(baseURL, core);
            return new HttpSolrServer(baseURL, client);
        }

        return reference;
    }

}

超时等待来自池的连接 - 尽管单个SolrServer

1 个答案: