Kafka在openstack上非常缓慢/无响应 - 如何排除故障

时间:2015-12-16 17:42:34

标签: apache-kafka openstack

我正在努力创建一个小型Kafka集群,作为Openstack私有云上更大管道的一部分。简而言之,即使是在Openstack中的节点上部署的最基本的场景中,我也无法及时响应Kafka(0.8.2.2或0.9.0.0)。

翻新单个Ubuntu 14.04服务器后:

  • 安装OpenJDK 8 set JAVA_HOME
  • 安装Scala 2.11.7将bin目录添加到路径
  • 将Kafka二进制文件解压缩到/ opt / kafka(kafka_2.11-0.9.0.0.tgz或kafka_2.11-0.8.2.2.tgz)

现在,按照Kafka网站上的“快速入门”部分(启动内置ZK,启动服务器,创建主题等),再次没什么特别的,主题创建需要几秒钟。列表主题可能需要20多秒。控制台生产者似乎没有错误,但是控制台消费者中没有消息显示。

我在同一节点上的三节点ZK集合顶部的三节点集群上有类似的慢/失败。为了使变量保持最小,在这种模式下,我只添加了advertised.host.name以匹配节点的关联浮动ip(host.name指向私有IP)。

在这种情况下代理0的配置:

broker.id=0
advertised.listeners=PLAINTEXT://172.22.0.127:9092
listeners=PLAINTEXT://:9092
port=9092
host.name=10.0.0.92
advertised.host.name=172.22.0.127
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/var/log/kafka
num.partitions=2
num.recovery.threads.per.data.dir=1
log.retention.hours=1
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
log.cleaner.enable=false
zookeeper.connect=10.0.0.92:2181,10.0.0.93:2181,10.0.0.94:2181
zookeeper.connection.timeout.ms=6000
delete.topic.enable=true

我可以像我期望的那样在我的本地计算机,本地虚拟机甚至是Docker容器中使用Kafka。这让我相信Openstack上有Kafka的东西并不好。我发现日志中没有任何问题,并且没有提供任何特定错误,这使得难以排除故障。

在搜索&#34; kafka openstack&#34;时,出乎意料的是很少。一般来说。除了为什么会发生这种情况之外,我也很想知道是否有人在做这些没有问题,如果有的话,是否存在可以帮助揭示实际错误的差异。< / p>

0 个答案:

没有答案