尽管有20个节点集群，Spark仅运行8个任务，并且仅使用2个节点，因此我们正在为此任务使用动态分配
我们正在使用Spark进行转换，即join，groupBy等 有两个数据集1.大数据集（20gb）2.小数据集（250mb）在加入它们的同时将它们缓存起来，对于小型数据集来说可以很好地承担8个任务，对于大型数据集来说可以承担8个任务并使用2个节点，而我有20个群集的节点。
添加了spark.default.parallelism属性，但没有用：我想这仅适用于rdd
0 个答案:
没有答案
相关问题
- 为什么在本程序的情况2中使用矩阵乘法（使用动态内存分配）而不是矩阵加法（情况1）中的分段错误？
- 如何使用.Net正则表达式检查这样的表达式（9 + 5）*（8/2）？换句话说，唯一有效的字符是[0-9]和（）+ - * /
- 只能复制到0个节点而不是minReplication（= 1）。有2个数据节点在运行，并且在此操作中不排除任何节点
- FirebaseJobDispatcher不会计划作业，并且会给出错误，即此程序包计划的任务太多
- Spark只使用集群中的少数节点
- 对于小作业，Spark shell仅使用3个执行器，而数据是NODE_LOCAL而不是PROCESS_LOCAL
- 我们正在创建“石头”，“纸”，“剪刀”的“小组”。我们将1个用于岩石，2个用于纸张，3个用于剪刀
- 如何在生产环境中编写弹性弹药的日常备份作业，我们使用Docker映像和kubernets进行容器化平台
- 尽管有20个节点集群，Spark仅运行8个任务，并且仅使用2个节点，因此我们正在为此任务使用动态分配
- 当我们使用kafka进行火花流传输时，我们如何计划kafka集群的停机
最新问题
- 我写了这段代码，但我无法理解我的错误
- 我无法从一个代码实例的列表中删除 None 值，但我可以在另一个实例中。为什么它适用于一个细分市场而不适用于另一个细分市场？
- 是否有可能使 loadstring 不可能等于打印？卢阿
- java中的random.expovariate()
- Appscript 通过会议在 Google 日历中发送电子邮件和创建活动
- 为什么我的 Onclick 箭头功能在 React 中不起作用？
- 在此代码中是否有使用“this”的替代方法？
- 在 SQL Server 和 PostgreSQL 上查询，我如何从第一个表获得第二个表的可视化
- 每千个数字得到
- 更新了城市边界 KML 文件的来源？