如何在Spark和Scala中实现任务并行?

时间:2017-03-07 14:54:42

标签: scala concurrency apache-spark-sql future

我们有一个Spark batch job,我们正在从HBase table读取数据并应用多个转换,然后在Cassandra [多个表格]中填充数据。

我们有多个independent tasks,它使用相同的DataFrame [Hbase表数据]。基本上我们有几个基于相同Hbase表数据的仪表板。

目前一切正在运行sequentially,如何运行此parallel

使用Scala Future并行运行任务是一种好习惯吗?

0 个答案:

没有答案