Question

设置

我们有一个3节点kafka集群，处理通过nginx传入的消息。 nginx将它交给一个php，后者又转发一个python进程并调用KafkaClient，SimpleProducer＆amp; Send_Message

zookeeper与kafka在同一主机上运行，nginx位于单独的主机上。端口2181,2182,3888,9092都是打开的。在启动zookeeper，kafka时没有看到任何错误。所有这些设置都在AWS上的相同vpc中。

Kafka＆amp; Zookeeper作为kafka用户运行，Nginx作为nginx运行，php-fpm作为apache运行

版本

卡夫卡：0.8.2 Python：2.7.5

属性文件中的相关摘录。

zookeeper.properties

dataDir=/data/zookeeper
clientPort=2181
maxClientCnxns=100
tickTime=2000
initLimit=5
syncLimit=2
server.1=172.31.41.78:2888:3888
server.2=172.31.45.245:2888:3888
server.3=172.31.23.101:2888:3888

producer.properties

metadata.broker.list=172.31.41.78:9092,172.31.45.245:9092,172.31.23.101:9092

consumer.properties

zookeeper.connect=172.31.41.78:2181,172.31.45.245:2181,172.31.23.101:2181
zookeeper.connection.timeout.ms=6000

server.properties （在其他计算机上使用适当的IP进行设置）

port=9092
advertised.host.name=172.31.41.78
host.name=172.31.41.78
zookeeper.connect=172.31.41.78:2181,172.31.45.245:2181,172.31.23.101:2181
zookeeper.connection.timeout.ms=60000

php代码

function sendDataToKafka($_data,$_srcType) {
    try{
    $pyKafka = "/usr/bin/python /etc/nginx/html/postMon.py ".$_srcType;
        $dspec = array(
        0 => array("pipe","r"),
        1 => array("pipe","w"),
        2 => array("file","/dev/null", "a")
    );

    $process = proc_open($pyKafka,$dspec,$pipes);
        if (is_resource($process)) {

    if(fwrite($pipes[0],$_data) == true){
    fclose($pipes[0]);
        echo stream_get_contents($pipes[1]);
    fclose($pipes[1]);
        proc_close($process);
    echo "Process completed";

python代码

import sys,json,time,ConfigParser
import traceback
sys.path.append("/etc/nginx/html/kafka_python-0.9.4-py2.7.egg")
from kafka import KafkaClient,SimpleProducer
try:
    srcMap = {
        'Alert'          : 'alerts'
    }
    topic = srcMap.get(sys.argv[1],'events')

    data = ''
    data = 'Testing static Kafka message'
    print 'Host: 172.31.23.101:9092'

    kafka = KafkaClient("172.31.23.101:9092")
    producer = SimpleProducer(kafka,random_start=True)
    producer.send_messages(topic,data);
except Exception as e:     # most generic exception you can catch
        print str(e)

方案

情景1：

运行

bin/kafka-console-producer.sh --zookeeper 172.31.41.78:2181,172.31.45.245:2181,172.31.23.101:2181 --topic alerts

on 1 shell

和

正在运行

./kafka-console-consumer.sh --zookeeper 172.31.41.78:2181,172.31.45.245:2181,172.31.23.101:2181 --topic alerts

我们可以查看消息

情景2：

运行python代码命令行（来自nginx主机），能够查看来自消费者的消息

情景3：

运行php代码命令行（来自nginx主机），能够查看来自消费者的消息

情景4：

使用REST URL从REST客户端（作为POSTMAN）/ CURL运行，获取以下消息：

<html>
<body>
    Host: 172.31.23.101:9092
    All servers failed to process request
    <pre>Process completed</pre></body>
<html>

这表明，流量转到nginx，nginx执行php＆amp; python脚本，但在第一次调用Kafka时出错 - KafkaClient发生了。不知怎的，python无法访问Kafka。

不知道这是否是用户权限/愚蠢配置错误。

另外......

我们在另一个vpc
安全组，配置文件，代码库属性等是一致的
短期内无法升级选项

任何指针/帮助/新鲜的眼睛都会帮助我们前进。

谢谢！

Answer 1

最后认为apache用户没有＆＃34;对＆＃34;权限。

selinuxconlist apache帮助解决了这个问题。

Kafka：连接问题 - 所有服务器都无法处理请求＆＃34;

1 个答案: