Question

我有一个pyspark数据帧，我想以重复的方式添加随机值以保证相同的输出。我尝试过设置numpy.random.seed和random.seed，但是下面代码的每次执行都会继续生成不同的随机值序列。

 +---+---+---+---+---+
 | 7 | 15| 19| 21| 27|
 +---------------+---+
 | 0 |  1|  0|  0|  0|
 | 0 |  0|  0|  1|  0|
 | 0 |  0|  0|  1|  0|
 | 2 |  0|  0|  0|  0|
 | 4 |  0|  3|  0|  0|
 | 5 |  0| 25|  0|  0| 
 | 6 |  2|  0|  0|  0|

这是我目前的实施方式：

import random
import numpy as np

#set seed
random.seed(1234)
np.random.seed(1234)

#create dataframe
df = sc.parallelize([
[ 0, 1, 0, 0, 0],
[ 0, 0, 0, 1, 0],
[ 0, 0, 0, 1, 0],
[2, 0, 0, 0, 0],
[0, 3, 0, 0, 0],
[ 0, 25,0, 0, 0],
[2, 0, 0, 0, 0],
]).toDF(('7', '15', '19', '21', '27'))

 random_df = data.select("*").rdd.map(
        lambda x, r=random: [Row(float(r.random() + row)) for row in x]).toDF(data.columns)

在我最近尝试上面的解决方案时，我将随机引用传递给我的lambda表达式，但是尽管设置了种子，我仍然会在每次执行时得到不同的值。关于如何解决这一挑战的任何想法或想法？

感谢您的帮助！

Answer 1

希望这有帮助！

from pyspark.sql.functions import col, rand
random_df = df.select(*((col(c) + rand(seed=1234)).alias(c) for c in df.columns))

Pyspark - 为可重现的值设置随机种子

1 个答案: