我有3个数据框:df1
,df2
,df3
。我正在尝试使用NaN
中包含的某些值填充df1
df2
个值。从df2
中选择的值也会根据处理mul_val
中存储的某些数据的简单函数(df3
)的输出进行选择。
我能够得到这样的结果,但我希望以更简单,更简单的方式和更易读的代码找到。
这是我到目前为止所做的:
import pandas as pd
import numpy as np
# simple function
def mul_val(a,b):
return a*b
# dataframe 1
data = {'Name':['PINO','PALO','TNCO' ,'TNTO','CUCO' ,'FIGO','ONGF','LABO'],
'Id' :[ 10 , 9 ,np.nan , 14 , 3 ,np.nan, 7 ,np.nan]}
df1 = pd.DataFrame(data)
# dataframe 2
infos = {'Info_a':[10,20,30,40,70,80,90,50,60,80,40,50,20,30,15,11],
'Info_b':[10,30,30,60,10,85,99,50,70,20,30,50,20,40,16,17]}
df2 = pd.DataFrame(infos)
dic = {'Name': {0: 'FIGO', 1: 'TNCO'},
'index': {0: [5, 6], 1: [11, 12, 13]}}
df3 = pd.DataFrame(dic)
#---------------Modify from here in the most efficient way!-----------------
for idx,row in df3.iterrows():
store_val = []
print(row['Name'])
for j in row['index']:
store_val.append([mul_val(df2['Info_a'][j],df2['Info_b'][j]),j])
store_val = np.asarray(store_val)
# - Identify which is the index of minimum value of the first column
indx_min_val = np.argmin(store_val[:,0])
# - Get the value relative number contained in the second column
col_value = row['index'][indx_min_val]
# Identify value to be replaced in df1
value_to_be_replaced = df1['Id'][df1['Name']==row['Name']]
# - Replace such value into the df1 having the same row['Name']
df1['Id'].replace(to_replace=value_to_be_replaced,value=col_value, inplace=True)
通过在每次迭代中打印store_val
,我得到:
FIGO
[[6800 5]
[8910 6]]
TNCO
[[2500 11]
[ 400 12]
[1200 13]]
我们举一个简单的例子:考虑FIGO
,我将6800
标识为6800
和8910
之间的最小数字。因此,我选择5
中放置的号码df1
。对剩余的df3
行重复这样的操作(在这种情况下,我只有2行,但它们可能会更多),最终结果应该是这样的:
In[0]: before In[0]: after
Out[0]: Out[0]:
Id Name Id Name
0 10.0 PINO 0 10.0 PINO
1 9.0 PALO 1 9.0 PALO
2 NaN TNCO -----> 2 12.0 TNCO
3 14.0 TNTO 3 14.0 TNTO
4 3.0 CUCO 4 3.0 CUCO
5 NaN FIGO -----> 5 5.0 FIGO
6 7.0 ONGF 6 7.0 ONGF
7 NaN LABO 7 NaN LABO
Nore:如果需要,你也可以删除for循环,并使用不同类型的格式来存储数据(列表,数组......);重要的是,最终结果仍然是数据帧。
答案 0 :(得分:1)
我可以提供两个类似的选项,它们可以在几行中实现与循环相同的结果:
1.使用申请和fillna()
(fillna
比combine_first
快两倍):
df3['Id'] = df3.apply(lambda row: (df2.Info_a*df2.Info_b).loc[row['index']].argmin(), axis=1)
df1 = df1.set_index('Name').fillna(df3.set_index('Name')).reset_index()
2.使用一个函数(lambda不支持赋值,所以你必须应用一个函数)
def f(row):
df1.ix[df1.Name==row['Name'], 'Id'] = (df2.Info_a*df2.Info_b).loc[row['index']].argmin()
df3.apply(f, axis=1)
或不依赖全局定义的轻微变体:
def f(row, df1, df2):
df1.ix[df1.Name==row['Name'], 'Id'] = (df2.Info_a*df2.Info_b).loc[row['index']].argmin()
df3.apply(f, args=(df1,df2,), axis=1)
请注意,您的解决方案,即使更详细,也会花费最少的时间来处理这个小数据集(7.5毫秒,而我的两个都是9.5毫秒)。有意义的是速度是相似的,因为在这两种情况下,它都是df3