使用Twitter Flink构建图表并使用Apache Flink进行查询

时间:2016-06-27 05:12:32

标签: twitter apache-flink flink-streaming

我听Twitter流并成功地从推文中提取我想要的数据。现在我想继续使用提取的信息构建图表,例如

 (user)--[tweets]-->(tweet) 

 (tweet)--[mentions]-->(user)

 (tweet)--[tagged]-->(hashtag)

虽然这个图表不断构建,但我想在此图表上运行查询。我怎么能用Apache Flink做到这一点?

1 个答案:

答案 0 :(得分:0)

随着对论坛和JIRA的更多挖掘,我发现gelly-streaming符合我的需求。

有了它,我们可以创建一个GraphStream

GraphStream<Long, NullValue, NullValue> graph = new SimpleEdgeStream<>(getEdgesDataSet(env), env);

示例:https://github.com/vasia/gelly-streaming/tree/master/src/main/java/org/apache/flink/graph/streaming/example

以下是其他相关链接。

在Apache Flink邮件列表中:http://apache-flink-user-mailing-list-archive.2336050.n4.nabble.com/Graph-with-stream-of-updates-td5166.html

Vasia Kalavri关于Graphs as Streams的讨论:https://berlinbuzzwords.de/session/graphs-streams-rethinking-graph-processing-streaming-era