Thinbug
News
Spark何时将分区分配给worker的map()?
时间:2018-09-11 01:11:30
标签:
apache-spark
我想知道Spark在map()操作期间何时将分区分配给每个工作人员。我猜这可能是以下两个选项之一:
在计算开始之前,Spark将所有分区分配给工作程序
Spark从一开始就为每个工作者分配一个分区。在每个工作人员完成分区处理之后,将获得一个新分区进行处理,依此类推。
能否请您在此分享Spark使用的策略?
谢谢
0 个答案:
没有答案
相关问题
插入的分区键不会映射到任何分区
如何知道哪个worker被执行了?
Apache Spark如何将partition-id分配给其执行程序
收集,zipWithIndex,map和flatMap在1分区的RDD保持顺序?
映射分区迭代器返回
按列分区并映射该分区
spark - 在worker完成处理分区后执行钩子的任何方法?
Spark是否会自动对数据进行分区?
我可以按工作人员已经存在的ID进行分区吗?
Spark何时将分区分配给worker的map()?
最新问题
我写了这段代码,但我无法理解我的错误
我无法从一个代码实例的列表中删除 None 值,但我可以在另一个实例中。为什么它适用于一个细分市场而不适用于另一个细分市场?
是否有可能使 loadstring 不可能等于打印?卢阿
java中的random.expovariate()
Appscript 通过会议在 Google 日历中发送电子邮件和创建活动
为什么我的 Onclick 箭头功能在 React 中不起作用?
在此代码中是否有使用“this”的替代方法?
在 SQL Server 和 PostgreSQL 上查询,我如何从第一个表获得第二个表的可视化
每千个数字得到
更新了城市边界 KML 文件的来源?