我正在Bigquery中使用Python,并且具有较大的数据框df(大约7m行)。我还有一个列表lst,其中包含一些日期(例如,给定月份中的所有天)。
我正在尝试在df中创建另一列“ random_day”,并在每行中使用lst中的随机值。
我尝试运行循环并应用函数,但由于数据集很大,因此极富挑战性。
我的尝试通过了循环解决方案:
df["rand_day"] = ""
for i in a["row_nr"]:
rand_day = sample(day_list,1)[0]
df.loc[i,"rand_day"] = rand_day
应用解决方案,首先定义我的函数,然后调用它:
def random_day():
rand_day = sample(day_list,1)[0]
return day
df["rand_day"] = df.apply(lambda row: random_day())
对此有任何提示吗? 谢谢
答案 0 :(得分:2)
使用numpy.random.choice
,并在必要时将日期转换为to_datetime
:
df = pd.DataFrame({
'A':list('abcdef'),
'B':[4,5,4,5,5,4],
})
day_list = pd.to_datetime(['2015-01-02','2016-05-05','2015-08-09'])
#alternative
#day_list = pd.DatetimeIndex(['2015-01-02','2016-05-05','2015-08-09'])
df["rand_day"] = np.random.choice(day_list, size=len(df))
print (df)
A B rand_day
0 a 4 2016-05-05
1 b 5 2016-05-05
2 c 4 2015-08-09
3 d 5 2015-01-02
4 e 5 2015-08-09
5 f 4 2015-08-09