kafka - 可以将python程序连接到hadoop集群外的Kafka吗?

时间:2017-12-16 22:07:12

标签: python apache-kafka

我想编写一个python程序,它读取文件并将数据作为生产者写入Kafka。 Kafka在Hadoop集群中设置,Python将在Hadoop集群之外运行。

可以从外面连接吗? 我需要为python安装Kafka库吗?我该如何安装?

2 个答案:

答案 0 :(得分:4)

了解Kafka的更多信息的最简单方法是使用http://landoop.com/docs/lenses/developers

您将需要运行1个docker - 在本地调出所有内容,然后使用通过Kafka API连接到Kafka并向其生成消息的相应Kafka库来开发Python应用程序

一旦你构建了你的应用程序 - 然后你就可以打包它并对你的Hadoop的Kafka经纪人进行打包

答案 1 :(得分:1)

  

是否可以从外部连接?

取决于防火墙规则,但是可以,

  

我需要为Python安装Kafka库吗?我该如何安装?

是的。 Kafka有多个Python库。 pip install kafka-python, for example.