Question

我有一个很大的json文件，其中包含20GB以上的json结构元数据。它包含跨某些应用程序的简单用户元数据，我希望对其进行筛选以检测重复项。这是一个数据外观示例：

{"created": "2015-08-04", "created_at": "2010-03-15", "username": "koleslawrulez333"}
{"created": "2016-01-19", "created_at": "2012-05-25", "name": "arthurking231"}
{"created": "2016-07-23", "type": "Username", "created_at": "2011-08-27", "name": "starklord1943"}
{"created": "2015-11-08", "created_at": "2010-01-19", "name": "Assasinator5827"}

json文件逐行包含看起来与此非常相似的json对象。当两个json对象的"name"字段相同时，将发生重复。因此，这是重复项：

{"created": "2016-07-23", "type": "Username", "created_at": "2011-08-27", "name": "Assasinator5827"}
{"created": "2015-11-08", "created_at": "2010-01-19", "name": "Assasinator5827"}

多达两个完全相同的json对象。

现在，我想遍历一个太大而无法放入内存的整个json文件，并使用最佳标准，找出所有重复的以及它们是什么的重复和然后做一些逻辑-逻辑部分很简单，但是我不确定如何找到重复项。

我的想法：

我考虑使用的第一件事是布隆过滤器。它们并不是那么令人困惑，并且可以很好，快速地工作，而且我认为它们本质上可以归结为O（n）。但是，bloom筛选器不会让我知道重复的字符串是什么重复的字符串，这对我来说是个小问题。
我考虑过使用外部合并排序。我基本上将文件划分为多个较小的文件，这些文件将适合内存，对每个块进行排序并搜索重复项（现在将它们聚集在一起）。但是我不确定这个实现是否是我想要的。
我遇到的下一件事情是按分区进行哈希处理，我怀疑这是我想要的。本质上，散列是处理内存中的数据时查找重复项的最佳方法，那么为什么不将其用于不适合的数据呢？我对如何按分区散列有些困惑。我不确定这是否是我要找的东西。

因此，我认为我应该使用选项3（按分区进行散列），并且我知道Spark具有该功能。我希望有人可以让我知道我是否走上了正确的道路，并可能给我一些有关我是否正确的指示。从概念上讲，我有几个具体问题：

让我们说我创建了100个完全适合内存的分区（因此，在我的情况下，每个分区为100MB）。假设我将json文件中的前x个元素散列到一个分区中，并且发现否重复项。假设我有另一个分区，其中第二个100MB数据也没有重复。如果一次只能加载100MB的数据，该如何检查分区1和分区2彼此没有重复？要澄清的是，如果分区1的元素和分区2的元素相同，那么我怎么弄清楚呢？我想我需要将两者都加载到内存中，对吗？如果我不能...那我该怎么办？也许我误会了...
这是我的第二个问题-似乎不是分区的工作方式，并且当您按分区进行哈希处理时，具有类似哈希值或哈希范围的元素将进入特定文件。因此，如果两个元素重复，我就会知道，因为该算法会尝试将其放入哈希已经存在的文件中。是这样吗？

我知道我还有更多问题，我想不出来。有人有提示吗？特别是关于pyspark以及如何最好地使用它？还是pyspark不是我想要的？

Answer 1

这个问题比您想象的要简单。就像@Hitobat建议的那样，您实际上只需要按<script src="https://cdnjs.cloudflare.com/ajax/libs/jquery/3.3.1/jquery.min.js"></script> <button id="clickme">Click or Touch Me!</button>来汇总数据。我会用name解决问题，以简化聚合输出。

鉴于数据如下，文件名为pyspark.sql.Window（也可以是文件目录，而不是单个文件）

data.json

的内容

data.json

然后pyspark代码如下所示：

{"created": "2015-08-04", "created_at": "2010-03-15", "username": "koleslawrulez333"}
{"created": "2016-01-19", "created_at": "2012-05-25", "name": "arthurking231"}
{"created": "2016-07-23", "type": "Username", "created_at": "2011-08-27", "name": "starklord1943"}
{"created": "2015-11-08", "created_at": "2010-01-19", "name": "Assasinator5827"}
{"created": "2016-07-23", "type": "Username", "created_at": "2011-08-27", "name": "Assasinator5827"}

输出

from pyspark.sql import Window
from pyspark.sql import functions as F

df = spark.read.json("data.json") # can be a directory of files as well 
df.show()

计数

pyspark.sql.Window

输出

name_partition_window = Window.partitionBy("name")
df_with_repeat_counts = df.select("*", F.count("*").over(name_partition_window).alias("name_counts"))
df_with_repeat_counts.show()

然后过滤+----------+----------+---------------+--------+----------------+-----------+ | created|created_at| name| type| username|name_counts| +----------+----------+---------------+--------+----------------+-----------+ |2016-01-19|2012-05-25| arthurking231| null| null| 1| |2015-08-04|2010-03-15| null| null|koleslawrulez333| 1| |2015-11-08|2010-01-19|Assasinator5827| null| null| 2| |2016-07-23|2011-08-27|Assasinator5827|Username| null| 2| |2016-07-23|2011-08-27| starklord1943|Username| null| 1| +----------+----------+---------------+--------+----------------+-----------+列上的数据框并按名称排序以进行检查

name_count

输出

duplicates = df_with_repeat_counts.where(F.col("name_counts") > 1).orderBy("name")
duplicates.show()

如何使用PySpark HashPartitioner

1 个答案: