Question

我读到具有相同分区的RDD将位于同一位置。这对我很重要，因为我想加入几个没有分区的大型Hive表。我的理论是，如果我可以将它们分区（通过字段调用date_day）并且共同定位，那么我将避免改组。

以下是我要为每张桌子做的事情：

EndVal.prefill(end_value)

不幸的是，我甚至无法测试关于共址和避免混乱的理论，因为当我尝试partitionBy时出现以下错误：ValueError：解包的值太多

def date_day_partitioner(key):
  return (key.date_day - datetime.date(2017,05,01)).days

df = sqlContext.sql("select * from hive.table")
rdd = df.rdd
rdd2 = rdd.partitionBy(100, date_day_partitioner)
df2 = sqlContext.createDataFrame(rdd2, df_log_entry.schema)

print df2.count()

我一定做错了什么，请你帮忙吗？

Answer 1

之所以会这样，是因为您没有在键值对rdd上应用partitionBy。您的rdd必须在键值对中。另外，您的密钥类型应为整数。我没有您的蜂巢表的样本数据。因此，让我们使用下面的蜂巢表来演示事实：

我已经使用配置单元表创建了以下数据框：

  alterOnUpdate = () => {
    this.setState(prevState => ({
      aClick: !prevState.aClick
    }));
  };

现在，我希望对数据框进行分区，并希望将相似的密钥保留在一个分区中。因此，我已将数据帧转换为rdd，因为您只能在rdd上应用partitionBy进行重新分区。

df = spark.table("udb.emp_details_table");
+------+--------+--------+----------------+
|emp_id|emp_name|emp_dept|emp_joining_date|
+------+--------+--------+----------------+
|     1|     AAA|      HR|      2018-12-06|
|     1|     BBB|      HR|      2017-10-26|
|     2|     XXX|   ADMIN|      2018-10-22|
|     2|     YYY|   ADMIN|      2015-10-19|
|     2|     ZZZ|      IT|      2018-05-14|
|     3|     GGG|      HR|      2018-06-30|
+------+--------+--------+----------------+

我遇到了同样的错误：

    myrdd = df.rdd
    newrdd = myrdd.partitionBy(10,lambda k: int(k[0]))
    newrdd.take(10)

因此，我们需要将rdd转换为键值对以使用paritionBy

 File "/usr/hdp/current/spark2-client/python/pyspark/rdd.py", line 1767, in add_shuffle_key
    for k, v in iterator:
ValueError: too many values to unpack

现在，您可以看到rdd已转换为键值对，因此您可以根据可用键将数据分布在分区中。

keypair_rdd = myrdd.map(lambda x : (x[0],x[1:]))

现在通过键值rdd使用分区：

[(u'1', (u'AAA', u'HR', datetime.date(2018, 12, 6))), 
(u'1', (u'BBB', u'HR', datetime.date(2017, 10, 26))), 
(u'2', (u'XXX', u'ADMIN', datetime.date(2018, 10, 22))), 
(u'2', (u'YYY', u'ADMIN', datetime.date(2015, 10, 19))), 
(u'2', (u'ZZZ', u'IT', datetime.date(2018, 5, 14))), 
(u'3', (u'GGG', u'HR', datetime.date(2018, 6, 30)))]

让我们看一下分区。数据已分组，并且相似的键现在存储在相似的分区中。其中两个是空的。

newrdd = keypair_rdd.partitionBy(5,lambda k: int(k[0]))

现在可以说我想对数据进行自定义分区。因此，我创建了以下函数，以将键“ 1”和“ 3”保持在相似的分区中。

>>> print("Partitions structure: {}".format(newrdd.glom().map(len).collect()))
Partitions structure: [0, 2, 3, 1, 0]

您现在可以看到，键1和键3存储在一个分区中，而另一个则存储在另一个分区中。

我希望这会有所帮助。您可以尝试按数据框进行分区。确保将其转换为键值对，并将键保持为整数类型。

Pyspark 2.1.0中的自定义分区程序

1 个答案: