我们可以使用Spark-Scala连接到多个Twitter帐户来提取数据吗？

Question

我想连接到多个Twitter帐户，使用spark-scala来提取数据。与此同时，我们可以从同一个Twitter帐户连接到多个应用程序。

Answer 1

是的，你当然可以这样做。

您需要多个kafka主题。以下是满足您要求的步骤。

1. 使用不同的Twitter帐户属性创建多个kafka主题。
2. 创建多个kafka经纪人，可以听取制片人的意见。
3. 根据您的要求创建消费者/消费者，以便从配置的主题中获取数据并在任何地方提取数据。

希望这有帮助！