标签: scala concurrency apache-spark-sql future
我们有一个Spark batch job,我们正在从HBase table读取数据并应用多个转换,然后在Cassandra [多个表格]中填充数据。
Spark batch job
HBase table
我们有多个independent tasks,它使用相同的DataFrame [Hbase表数据]。基本上我们有几个基于相同Hbase表数据的仪表板。
independent tasks
DataFrame
目前一切正在运行sequentially,如何运行此parallel?
sequentially
parallel
使用Scala Future并行运行任务是一种好习惯吗?
Scala
Future