使用Python Spark流从http下载数据

Question

我是PySpark的新手，我在Ubuntu 14.04上安装了Kafka单节点和单个代理。

安装完成后，我测试了使用kafka-console-producer和kafka-console-consume发送和接收数据的Kafka。

以下是我遵循的步骤 启动消费者消费消息。

 bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic kafkatopic --from-beginning

启动生产者在新的终端窗口中发送消息。

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic kafkatopic
[2016-09-25 7:26:58,179] WARN Property topic is not valid (kafka.utils.VerifiableProperties)
Good morning 
Future big data
this is test message

在消费者终端

bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic kafkatopic --from-beginning
Good morning 
Future big data
this is test message

meetup.com的以下链接产生流数据

http://stream.meetup.com/2/rsvps

我的要求是如何使用Kafka从http网站收集流数据到spark。下载streamin数据的转换命令是什么？

下载数据后，我可以按城市和其他分析查找特定时间间隔的计数。

Answer 1

有多种方法可以处理实时流式传输。我正在考虑的就是下面一个。