是否可以在工作程序节点中同时运行不同的Spark作业?

时间:2018-09-28 06:50:29

标签: apache-spark pyspark multiprocessing amazon-emr

请说明以下我的火花工作流程是否可行。


+-------------+ some transformations         +----------+
| master node |-------------------+--------->| worker 1 |-> export to mongodb1
+-------------+                   |   job1   +----------+
                                  |          +----------+
                                  +--------->| worker 2 |-> export to mongodb2
                                  |   job2   +----------+
                                  |          +----------+
                                  +--------->| worker 3 |-> export to mongodb3
                                      job3   +----------+

0 个答案:

没有答案