使用Apache Thrift的Spark工作流程

时间:2017-10-06 21:56:06

标签: apache-spark bigdata thrift

我有一个简单的火花工作流程。

  1. 任务1(火花批处理作业触发作业)创建一个json对象
  2. 任务2(侦听套接字的spark流作业)使用此对象并加载到数据库中。
  3. 任务1数据(json对象)需要被推送到任务2,我想知道最好的方法是什么?

    我计划使用Apache thrift服务器和连接到此服务器的流媒体作业。

    我想知道如何将数据推送到thrift服务器。

0 个答案:

没有答案