我完全困惑于以下问题:
当我加入2个数据帧并返回行数时,每次尝试得到的计数都会略有不同。详细信息如下:
我想加入数据框:“ df_user_ids”和“ df_conversions”:
df_user_ids.show()
>>>
+--------------------+
| user_id|
+--------------------+
|AMsySZY-cqcufnXst...|
|AMsySZY1Oo75A6vKU...|
|AMsySZY4nbqZiuEMR...|
|AMsySZY5RSfgj6Xvi...|
|AMsySZY5geAmTx0er...|
|AMsySZY6Gskv_kEAv...|
|AMsySZY6MIOyPWM4U...|
|AMsySZYCEZYS00UB9...|
df_conversions.show()
>>>
+--------------------+----------------------+---------+
| user_id|time_activity_observed|converted|
+--------------------+----------------------+---------+
|CAESEAl1YPOZpaWVx...| 2018-03-23 12:15:37| 1|
|CAESEAuvSBzmfc_f3...| 2018-03-23 21:58:25| 1|
|CAESEBXWsSYm4ntvR...| 2018-03-30 12:16:53| 1|
|CAESEC-5uPwWGFdnv...| 2018-03-23 08:52:48| 1|
|CAESEDB3Z-NNvz7zL...| 2018-03-24 21:37:05| 1|
|CAESEDu7S7rGTVlj2...| 2018-04-01 17:00:12| 1|
|CAESEE4s6g1-JlUEt...| 2018-03-23 19:32:23| 1|
|CAESEELlJt0mE2xjn...| 2018-03-24 18:26:15| 1|
两个数据帧都有一个名为“ user_id”的关键列, 两者都使用带有固定种子的“ .sampleBy()”创建:
.sampleBy("converted", fractions={0: 0.035, 1: 1}, seed=0)
在我加入数据帧之前,我将它们持久保存到磁盘:
df_user_ids.persist(StorageLevel.DISK_ONLY)
df_conversions.persist(StorageLevel.DISK_ONLY)
然后我验证两个数据帧的行数是否一致:
df_user_ids.count()
>>> 584309
df_user_ids.count()
>>> 584309
df_conversions.count()
>>> 5830
df_conversions.count()
>>> 5830
并检查两个数据框的关键列是否不包含重复项:
df_user_ids.count()
>>> 584309
df_user_ids.select('user_id').distinct().count()
>>> 584309
df_conversions.count()
>>> 5830
df_conversions.select('user_id').distinct().count()
>>> 5830
然后我加入它们时得到的行数不一致!
df_user_ids.join(df_conversions, ["user_id"], "left").count()
>>> 584314
df_user_ids.join(df_conversions, ["user_id"], "left").count()
>>> 584317
df_user_ids.join(df_conversions, ["user_id"], "left").count()
>>> 584304
这怎么可能?
有时,此加入计数高于“ df_user_ids.count()”,有时则更低。我正在EMR集群上的AWS EMR中使用Zeppelin笔记本来运行此代码。
我已经尝试了以下链接中的建议:
答案 0 :(得分:0)
通过查看您在DataFrames上执行的一系列操作,我认为问题是由于Join引起的。联接操作会导致随机播放,其中每个节点都与其他每个节点通信,并且它们根据哪个节点具有某个键或一组键(要加入的键)共享数据。在执行程序之间共享数据时,如果执行程序没有将数据帧保留在磁盘上,它将重新计算DAG,并且不能保证sampleBy返回数据帧中相同比例的行。