基于来自第二个的NA值覆盖pandas数据帧中的值

时间:2015-11-24 20:57:31

标签: python pandas dataframe nan

如果我将pandas数据帧df1定义为:

df1 = pd.DataFrame({'a': [ 1, 2], 'b': [3, 4]})

数据框df2具有相同的大小,相同的列名和索引,但具有NA值,某处,两者

方法A

nan_locations = np.where(df2.isnull())
df1.values[nan_locations] = np.nan

方法B

df1[df2.isnull()] = np.nan

使用来自df1中相同位置的NA&#39}覆盖df2中的值。但是,如果我对从Excel文件中读取的数据帧执行相同操作,则方法A始终不起作用。可以请,有人解释我为什么会这样?

1 个答案:

答案 0 :(得分:1)

这可能与第一个DataFrame的dtypes有关,其值需要被覆盖。当DataFrame是混合dtypes时,values属性返回一个带有上传dtype(doc)的ndarray,它似乎是一个副本。因此,对该副本的分配将丢失。

以下是“简单”DataFrame的示例,其中方法A和B都有效:

df1 = pd.DataFrame({'a': [1.0, 2.0], 'b': [3.0, 4.0]})
df2 = pd.DataFrame({'a': [1.0, 2.0], 'b': [np.nan, 4.0]})

另一方面,这个看似相似的DataFrame仅适用于方法B:

df1 = pd.DataFrame({'a': [1, 2], 'b': [3.0, 4.0]})
df2 = pd.DataFrame({'a': [1, 2], 'b': [np.nan, 4.0]})

因为df1的dtypes是:

a      int64
b    float64

因此,可能是Excel文件中的数据导致具有混合dtypes的DataFrame。使用适当的索引器更新内容应优先于直接操作低级值表示。