排序后为什么火花会掉落？
我在数据帧上有一个except操作。
df1.except(df2)
物理计划成为火花中的连接操作。有一种奇怪的行为，在SortMergeJoin之后会丢弃一些行。我知道当DF来自相同的原始DF https://issues.apache.org/jira/browse/SPARK-10925时，连接存在问题...所以，我将DF转换为rdd并返回，但它没有解决丢弃行的问题。
奇怪的是，Spark在排序之后正在丢弃行，只是在一些Hash Aggregate操作期间......为dag附加了c
0 个答案:
没有答案
相关问题
最新问题
- 我写了这段代码，但我无法理解我的错误
- 我无法从一个代码实例的列表中删除 None 值，但我可以在另一个实例中。为什么它适用于一个细分市场而不适用于另一个细分市场？
- 是否有可能使 loadstring 不可能等于打印？卢阿
- java中的random.expovariate()
- Appscript 通过会议在 Google 日历中发送电子邮件和创建活动
- 为什么我的 Onclick 箭头功能在 React 中不起作用？
- 在此代码中是否有使用“this”的替代方法？
- 在 SQL Server 和 PostgreSQL 上查询，我如何从第一个表获得第二个表的可视化
- 每千个数字得到
- 更新了城市边界 KML 文件的来源？