Question

我尝试通过kafka-node npm库使用使用者和生产者，以便通过nodejs将kafka用作消息传递服务。

问题在于，即使我的生产者有时工作，消费者仍在给我超时错误，或者它只是以无尽的循环释放，尝试连接到kafka，即使tought kafka正常工作。

当Kafka在远程centos7机器上时，我在Windows机器上使用kafka-node。即使我将所有代码（消费者和生产者）与kafka放在同一台机器上，这种奇怪的行为仍会继续（认为mabye窗口是问题的一部分）。

我尝试在生产者控制台中内置的kafka中发送消息，但我的消费者似乎仍未订阅该主题并获取消息。

这是我简单的生产者代码：

diff <- (a1$A1_phones - a1$A1_video)
diffp <- (a1$A1_phones - a1$A1_video)/a1$A1_video*100
sd.diff <- sd(diff)
sd.diffp <- sd(diffp)
my.data <- data.frame(a1$A1_video, a1$A1_phones, diff, diffp)

dev.off()

diffplot <- ggplot(my.data, aes(a1$A1_video, diff)) + 
geom_point(size=2, colour = rgb(0,0,0, alpha = 0.5)) + 
theme_bw() + 
#when the +/- 2SD lines will fall outside the default plot limits 
#Thanks to commenter for noticing this.
ylim(mean(my.data$diff) - 7*sd.diff, mean(my.data$diff) + 7*sd.diff) +
geom_hline(yintercept = 0, linetype = 3) +
geom_hline(yintercept = mean(my.data$diff)) +
geom_hline(yintercept = mean(my.data$diff) + 2*sd.diff, linetype = 2) +
geom_hline(yintercept = mean(my.data$diff) - 2*sd.diff, linetype = 2) +
ylab("Difference Video vs Algorithm [ms]") +
xlab("Average of Video vs Algorithm [ms]")

p<-ggMarginal(diffplot, type="histogram", bins = 40)+ scale_colour_viridis_d()

运行此命令时，有时会出现超时错误，如下所示：

const kclient = new kafka.KafkaClient({kafkaHost:'ADDR:9092'});
kclient.on('error',(err) => {
    console.log(err)
})
kprod = new producer (kclient);
// kconsumer = new consumer(kclient);
kprod.on('error',(err) => {
    console.log(`error: ${err}`);
})

kprod.on('ready',() => {
    console.log(`connected to kafka`);
    let tranNumSentToKafka = 0
    for (let index = 0; index < transArray.length; index++) {
        const element = JSON.stringify(transArray[index])
        console.log(`sending data to kafka`);
        kprod.send([{
            topic:'test',
            messages:element
        }],
            (err,data) => { 
            if(err){console.error(err)}
            else{
                tranNumSentToKafka += 1
                console.log(`data sent: ${JSON.stringify(data)}`);
                console.log(`sent ${tranNumSentToKafka} transactions to kafka`);
            }
        })
    }
})

但有时它可以工作，并且可以为我提供以下输出：

{ TimeoutError: Request timed out after 30000ms
    at new TimeoutError (C:\Users\Yishai Nachaliel\Documents\try\kafka-node-elastic\node_modules\kafka-node\lib\errors\TimeoutError.js:6:9)
    at Timeout.timeoutId._createTimeout [as _onTimeout] (C:\Users\Yishai Nachaliel\Documents\try\kafka-node-elastic\node_modules\kafka-node\lib\kafkaClient.js:1007:14)
    at ontimeout (timers.js:436:11)
    at tryOnTimeout (timers.js:300:5)
    at listOnTimeout (timers.js:263:5)
    at Timer.processTimers (timers.js:223:10) message: 'Request timed out
after 30000ms' }

这是我的简单消费者：

...
sent 96 transactions to kafka
data sent: {"test":{"0":15740}}
sent 97 transactions to kafka
data sent: {"test":{"0":15741}}
sent 98 transactions to kafka
data sent: {"test":{"0":15742}}
sent 99 transactions to kafka
data sent: {"test":{"0":15743}}
sent 100 transactions to kafka

在Windows计算机上运行此代码时，我得到：

kafka = require('kafka-node'),
producer = kafka.Producer,
consumer = kafka.Consumer;

const kclient = new kafka.KafkaClient({
    kafkaHost:'10.0.0.55:9092'
    // kafkaHost:'35.186.191.135:9092'
});
kclient.on('ready',() => {
    console.log(`kclient ready`);
    kconsumer = new consumer(kclient,[{
        topic:'test',
        partition:0
    }]);
    kconsumer.on('error',(err) => {
        console.error(` in kconsumer: \n${err}\n`)
    })
    kconsumer.on('ready',() => {
        console.log(`kconsumer ready`);
        kconsumer.on('message',(msg) => {
            console.log(`recived msg: ${msg}`);
        })

    })

})
kclient.on('error',(err) => {
    console.error(`err in kclient: \n${err}\n`)
})

当我在centos计算机上运行使用者时，我没有得到任何错误，只是死机了：

kclient ready
 in kconsumer:
TimeoutError: Request timed out after 30000ms

永远不要“ kconsumer ready”。

在DEBUG模式下运行这两个命令仅表明：

kclient ready

当我测试kafka和zookeeper是否可以在我的centos机器上正常工作时，我使用了生产者/消费者控制台对其进行了测试。

另外，我检查了zookeeper和kafka日志，没有错误，但是没有迹象表明任何生产者或消费者已连接或发送任何消息。

有人用kafka-node库遇到此问题吗？

有没有人找到解决方案的？

Answer 1

我不确定它是否符合具体情况，但是我也有类似的问题行为。

要使用Kafka，您的客户端应同时具有代理（具有ADDR:9092的代理）和kafka数据节点的访问权限。

当客户端连接到代理时，它会显示“我需要主题XXX”。代理回答“主题XXX在节点ADDR-YYY上” 然后客户端尝试连接ADDR-YYY

可能的问题是经纪人返回kafka节点的地址，您的消费计算机无法访问该地址。它可以被阻止（例如，您没有公开特定的端口），也可能无法通过名称访问（例如，当应使用某些原始IP或其他内容时，损坏的返回本地特定的地址，例如kafka-node-1.localhost）。 / p>

使用kafka-node创建的消费者和生产者无法连接到kafka的工作实例

1 个答案: