Question

我有一个安装在Linux容器中的Web应用，LXD版本是LXD 3.13

Web通信进入主机vm（Ubuntu 16.04），并使用NGinx推送到LXC，nginx是1.10.3版

在容器中，我让Kong接收了流量，并将其转发到我的应用程序。 Kong是版本1.1.2。容器本身也是Ubuntu 16.04。

Internet-> NGINX-> LXD-> KONG（运行NGINX）->我的APP

我的目标是让Kong终止SSL流量并提供白名单IP限制。没有白名单，我将一切正常。但是我的问题是， Kong正在看到LXD基本IP，而不是调用NGinx的原始客户端IP 。我认为我需要使用“代理协议” 配置来解决此问题，但是如果我有其他选择，我会全力以赴。

我的NGinx配置非常简单。我必须使用流而不是html，以便不必终止SSL。这意味着我无法设置X-Real-IP标头，我认为这将是一个更简单的解决方案。因此，我尝试使用代理协议。

stream {
    server {
        listen 80;
        proxy_pass 10.214.23.104:8080;
        proxy_protocol on;
    }

    server {
        listen 443;
        proxy_pass 10.214.23.104:8443;
        proxy_protocol on;
    }
}

在这种情况下，

10.214.23.104只是我的LXD为此容器分配的IP。 8080和8443分别是http / https流量的Kong端口。当我尝试添加'proxy_protocol on;'时行，而不是看到来自Kong的错误IP响应，我得到的是“不支持或无法识别的SSL消息”。而且Kong似乎没有对其进行处理。

在这种情况下，这是我的NGinx错误日志：

epoll: fd:8 ev:0
001 d:00007F170E93E0F8
post event 0000558DBC67B8E0
timer delta: 300041
posted event 0000558DBC67B8E0
delete posted event 0000558DBC67B8E0
accept on 0.0.0.0:443, ready: 0
posix_memalign: 0000558DBC650650:256 @16
***.***.***.***:52412 fd:12
*5 client ***.***.***.***:52412 connected to 0.0.0.0:443
*5 tcp_nodelay
*5 posix_memalign: 0000558DBC650760:256 @16
*5 proxy connection handler
*5 malloc: 0000558DBC650870:328
*5 malloc: 0000558DBC654C00:16384
*5 stream proxy send PROXY protocol header
*5 get rr peer, try: 1
*5 stream socket 13
*5 epoll add connection: fd:13 ev:80002005
*5 connect to 10.214.23.104:8443, fd:13 #6
*5 proxy connect: -2
*5 event timer add: 13: 60000:1560459025106
worker cycle
accept mutex locked
epoll timer: 60000
epoll: fd:13 ev:0004 d:00007F170E93E3B0
*5 post event 0000558DBC68DA10
timer delta: 0
posted event 0000558DBC68DA10
*5 delete posted event 0000558DBC68DA10
*5 event timer del: 13: 1560459025106
*5 stream proxy connect upstream
*5 tcp_nodelay
*5 proxy 10.214.23.1:50946 connected to 10.214.23.104:8443
*5 malloc: 0000558DBC69F8A0:16384
*5 send: fd:13 44 of 44
*5 epoll add event: fd:12 op:1 ev:80002001
*5 event timer add: 12: 600000:1560459565106
worker cycle
accept mutex locked
epoll timer: 600000
epoll: fd:13 ev:0005 d:00007F170E93E3B0
*5 post event 0000558DBC67BA00
*5 post event 0000558DBC68DA10
timer delta: 1
posted event 0000558DBC67BA00
*5 delete posted event 0000558DBC67BA00
*5 recv: fd:13 177 of 16384
*5 send: fd:12 177 of 177
*5 recv: fd:13 0 of 16384
*5 upstream disconnected, bytes from/to client:0/177, bytes from/to upstream:177/44
*5 finalize stream proxy: 0
*5 free rr peer 1 0
*5 close stream proxy upstream connection: 13
*5 delete posted event 0000558DBC68DA10
*5 reusable connection: 0
*5 close stream connection: 12
*5 event timer del: 12: 1560459565106
*5 reusable connection: 0
*5 free: 0000558DBC69F8A0
*5 free: 0000558DBC654C00
*5 free: 0000558DBC650870
*5 free: 0000558DBC650650, unused: 0
*5 free: 0000558DBC650760, unused: 40

我不太确定如何对LXD进行故障排除。我的容器的lxc.log文件中没有任何内容。

在Kong端，我配置了Logging和IP限制插件，并为适当的路由设置了SSL证书。我添加了real_ip_header作为proxy_protocol；我的理解是，这是使用代理协议时读取IP所必需的。我对Kong的配置如下所示：

trusted_ips = 0.0.0.0/0
admin_listen = 0.0.0.0:8001
proxy_listen = 0.0.0.0:8080,  0.0.0.0:8443 ssl
...db stuff...
plugins = bundled,session
real_ip_header = proxy_protocol

Kong的访问日志确实看起来像是它收到了一个呼叫，但未处理该呼叫，并且该服务的错误日志或日志插件的日志中均未显示任何内容。

10.214.23.1 - - [14/Jun/2019:05:23:46 -0900] "PROXY TCP4 72.38.194.90 10.1.1.4 37604 443" 400 12 "-" "-"

Answer 1

我意识到，如果我已经指定proxy_listen配置，则不会处理real_ip_header的proxy_protocol值。由于冲突，我们之前已更改了侦听端口，因此我无法使用默认的proxy_listen值。

所以我的解决方案是将proxy_listen行更改为：

proxy_listen = 0.0.0.0:8080 proxy_protocol,  0.0.0.0:8443 ssl proxy_protocol

real_ip_header = proxy_protocol行仍然是必需的。

NGinx，LXD / LXC和Kong的代理协议

1 个答案: