与Netty和NIO高度并发的HTTP

时间:2011-03-28 00:43:23

标签: java http concurrency clojure netty

我正在使用example Netty HTTP Client code来在并发的线程环境中发出http请求。

然而,我的系统在相当低的吞吐量下完全破坏(有一些例外)。

几乎是伪代码:

ClientBootstrap bootstrap = new ClientBootstrap(new NioClientSocketChannelFactory()) 
bootstrap.setPipelineFactory(new HttpClientPipelineFactory());

ChannelFuture future = bootstrap.connect(new InetSocketAddress(host, port));
Channel channel = future.awaitUninterruptibly().getChannel();

HttpRequest request = new DefaultHttpRequest();
channel.write(request);

在示例中,为了发出请求,我创建了一个ClientBootstrap,并从那里(通过一些箍)一个Channel来编写HTTPRequest。

这一切都有效并且很好。

然而,在同时发生的情况下,每个请求是否应该通过相同的箍?我认为这对我来说正在破坏的是什么。我应该以完全不同的方式重用连接或构建我的客户端吗?

另外:我在Clojure中这样做,如果这有任何区别的话。

2 个答案:

答案 0 :(得分:7)

不,你做得对。但是,您必须保留对Channel实例的引用。一旦拥有该通道,只要它是打开的,您就不需要创建另一个引导程序。 (如果这就是你正在做的事情。)

这是我在最近的一个项目中使用的:

类ClientConnection (构造函数)

// Configure the client.
bootstrap = new ClientBootstrap(
    new NioClientSocketChannelFactory(
        Executors.newCachedThreadPool(),
        Executors.newCachedThreadPool()
    )
);

// Set up the pipeline factory.
bootstrap.setPipelineFactory(
    new ChannelPipelineFactory() {
        public ChannelPipeline getPipeline() throws Exception {
            return Channels.pipeline(
                // put your handlers here
            );
        }
    }
);

类ClientConnection.connect(String host,int port)

if (isConnected()) {
    throw new IllegalStateException("already connected");
}

// Start the connection attempt.
ChannelFuture future = bootstrap.connect(new InetSocketAddress(host, port));

channel = future.awaitUninterruptibly().getChannel();

// Wait until the connection is closed or the connection attempt fails.
channel.getCloseFuture().addListener(new ChannelFutureListener() {
    @Override
    public void operationComplete(ChannelFuture future) throws Exception {
        new Thread(new Runnable() {
            public void run() {
                // Shut down thread pools to exit
                // (cannot be executed in the same thread pool!
                bootstrap.releaseExternalResources();

                LOG.log(Level.INFO, "Shutting down");
            }
        }).start();
    }
});

所以,基本上,我只保留对bootstrapchannel的引用,但前者几乎没有在这些代码行之外使用。

注意:您应该只在应用程序退出时执行一次bootstrap.releaseExternalResources();。在我的情况下,客户端发送一些文件然后关闭通道并退出。

一旦连接了Channel实例,您只需使用该实例,直到再次关闭它为止。关闭后,您可以回忆bootstrap再次创建新的Channel

就个人而言,我发现Netty起初有点难以理解,但是一旦掌握了它的工作原理,它就是Java中最好的NIO框架。 IMO。

答案 1 :(得分:1)

Netty 是在 JVM 中编写高并发 HTTP 服务的最佳方法,但它非常复杂且难以直接互操作,尤其是在使用 Clojure 时。看看 Donkey,它提供与使用 Netty 作为后端的 Vert.x 的互操作。这种分层抽象了许多细微的低级细节,如果做错了,可能会导致服务不稳定。 Donkey 相对较新,因此还没有很多关于它的文档。查看此 blog,其中包含一个开源项目,该项目使用 Donkey 在 Clojure 中实现了一个基本的新闻提要微服务。它详细介绍了架构、设计、编码和负载下的性能。