我想编写一个python程序,它读取文件并将数据作为生产者写入Kafka。 Kafka在Hadoop集群中设置,Python将在Hadoop集群之外运行。
可以从外面连接吗? 我需要为python安装Kafka库吗?我该如何安装?
答案 0 :(得分:4)
了解Kafka的更多信息的最简单方法是使用http://landoop.com/docs/lenses/developers
您将需要运行1个docker - 在本地调出所有内容,然后使用通过Kafka API连接到Kafka并向其生成消息的相应Kafka库来开发Python应用程序
一旦你构建了你的应用程序 - 然后你就可以打包它并对你的Hadoop的Kafka经纪人进行打包
答案 1 :(得分:1)
是否可以从外部连接?
取决于防火墙规则,但是可以,
我需要为Python安装Kafka库吗?我该如何安装?
是的。 Kafka有多个Python库。 pip install kafka-python
, for example.