Question

我需要从批次中累积数据一段时间才能进行后续处理。我正在使用Spark 1.6.3。我需要以(tag, [[time, value],..]）的形式积累它们。到目前为止，我已尝试updateStateByKey：

time = [0]
def updateFunc(new_values, last_sum,time):
    time[0] += 5
    if time == 10:
        time = 0
        return None
    return (last_sum or []) + new_values

data = lines.flatMap(lambda line: line.split(" "))\
                  .map(lambda word: (word, ['t','t1'])) \
                  .updateStateByKey(lambda x,y :updateFunc(x,y,time))
data.pprint()

正在添加数据。但是，尝试在10秒后刷新数据不起作用。（我做错了）

我也试过使用window：

data= lines.flatMap(lambda lime: line.split(' ')\
    .map(lambda tag: (tag: ['time', 'value']))\
    .window(10, 2)\
    .reduceByKey(lambda x,y : y + x)`

但是，这产生了一个一维的长列表。哪个没用。任何线索？谢谢。

Answer 1

items = lines.flatMap(lambda x: list(x)).map(lambda x: (x, [('time', 'value')]))
counts = items.reduceByKeyAndWindow(lambda x, y: x + y, invFunc=None, windowDuration=3, slideDuration=2)

试试这个

保存批次＆＃39; pyspark中的数据

1 个答案: