如何在无需DAG的情况下在Hazelcast Jet中使用Twitter流源？

Question

我想对实时推文进行简单的分析。

如何在不需要DAG的情况下在Hazelcast Jet中使用Twitter流源？

详细信息

Twitter API的封装非常好，StreamTwitterP.java。

但是，调用方将其用作DAG的一部分，c / o：

Vertex twitterSource = 
  dag.newVertex("twitter", StreamTwitterP.streamTwitterP(properties, terms));

我的用例不需要DAG的功能，所以我宁愿避免这种不必要的额外复杂性。

为避免DAG，我希望使用SourceBuilder为实时推文流定义新的数据源。

我认为它的代码类似于上面提到的StreamTwitterP.java，但是我不清楚使用Hazelcast JET API是否适合。

我指的是SourceBuilder example from the docs。

Answer 1

您可以将处理器转换为管道源：

Pipeline p = Pipeline.create();
p.drawFrom(Sources.<String>streamFromProcessor("twitter", 
    streamTwitterP(properties, terms)))
...

还有使用SourceBuilder here的twitterSource版本。