Question

我正在尝试从当前数据集中创建一个示例数据集。我尝试了两种不同的方式，它们产生两个不同的结果。以某种方式分隔每个采样行应该是整数和字符串（[5，unprivate]，[1，hiprivate]）。第一种方法是为每行提供字符串和字符串（[private，private]，[unprivate，hiprivate]）。第二种方式是给我正确的输出。

为什么他们会生成两个完全不同的数据集？

数据集

5,unprivate
1,private
2,hiprivate

摄取数据

from pyspark import SparkContext

sc = SparkContext()
INPUT = "./dataset"

def parse_line(line):
    bits = line.split(",")
    return bits

df = sc.textFile(INPUT).map(parse_line)

第一种方式 - 输出类似的东西 [[u'unprivate', u'unprivate'], [u'unprivate', u'unprivate']]

#1st way
columns = df.first()
new_df = None
for i in range(0, len(columns)):
    column = df.sample(withReplacement=True, fraction=1.0).map(lambda row: row[i]).zipWithIndex().map(lambda e: (e[1], [e[0]]))
    if new_df is None:
        new_df = column
    else:
        new_df = new_df.join(column)
        new_df = new_df.map(lambda e: (e[0], e[1][0] + e[1][1]))
new_df = new_df.map(lambda e: e[1])
print new_df.collect()

第二种方式 - 输出类似的东西 [(0, [u'5', u'unprivate']), (1, [u'1', u'unprivate']), (2, [u'2', u'private'])]

#2nd way
new_df = df.sample(withReplacement=True, fraction=1.0).map(lambda row: row[0]).zipWithIndex().map(lambda e: (e[1], [e[0]]))
new_df2 = df.sample(withReplacement=True, fraction=1.0).map(lambda row: row[1]).zipWithIndex().map(lambda e: (e[1], [e[0]]))

new_df = new_df.join(new_df2)
new_df = new_df.map(lambda e: (e[0], e[1][0] + e[1][1]))
print new_df.collect()

我正在尝试找出第62页的unisample函数 http://info.mapr.com/rs/mapr/images/Getting_Started_With_Apache_Spark.pdf

Answer 1

这与Spark执行代码的方式有关。尝试在第一个示例中将此print语句放在代码中：

for i in range(0, len(columns)):
    if new_df:
        print(new_df.take(1))

由于代码执行延迟for这样的循环不起作用，因为Spark实际上只执行最后一个循环。因此，当您为第二列启动for循环时，您已经获得new_df的值，该值等于第二个for循环的输出。

您必须使用第二个示例中使用的方法。

为什么pyspark中的两种不同的数据处理方式会产生不同的结果？

1 个答案: