当我尝试将索引设置为某个值时,我得到ValueError: cannot reindex from a duplicate axis
。我尝试用一个简单的例子来重现这个,但我做不到。
这是ipdb
跟踪内的会话。我有一个带字符串索引的DataFrame,以及整数列,浮点值。但是,当我尝试为所有列的总和创建sum
索引时,我收到ValueError: cannot reindex from a duplicate axis
错误。我创建了一个具有相同特征的小型DataFrame,但无法重现该问题,我可能缺少什么?
我真的不明白ValueError: cannot reindex from a duplicate axis
的含义,这个错误信息是什么意思?也许这会帮助我诊断问题,这是我问题中最容易回答的部分。
ipdb> type(affinity_matrix)
<class 'pandas.core.frame.DataFrame'>
ipdb> affinity_matrix.shape
(333, 10)
ipdb> affinity_matrix.columns
Int64Index([9315684, 9315597, 9316591, 9320520, 9321163, 9320615, 9321187, 9319487, 9319467, 9320484], dtype='int64')
ipdb> affinity_matrix.index
Index([u'001', u'002', u'003', u'004', u'005', u'008', u'009', u'010', u'011', u'014', u'015', u'016', u'018', u'020', u'021', u'022', u'024', u'025', u'026', u'027', u'028', u'029', u'030', u'032', u'033', u'034', u'035', u'036', u'039', u'040', u'041', u'042', u'043', u'044', u'045', u'047', u'047', u'048', u'050', u'053', u'054', u'055', u'056', u'057', u'058', u'059', u'060', u'061', u'062', u'063', u'065', u'067', u'068', u'069', u'070', u'071', u'072', u'073', u'074', u'075', u'076', u'077', u'078', u'080', u'082', u'083', u'084', u'085', u'086', u'089', u'090', u'091', u'092', u'093', u'094', u'095', u'096', u'097', u'098', u'100', u'101', u'103', u'104', u'105', u'106', u'107', u'108', u'109', u'110', u'111', u'112', u'113', u'114', u'115', u'116', u'117', u'118', u'119', u'121', u'122', ...], dtype='object')
ipdb> affinity_matrix.values.dtype
dtype('float64')
ipdb> 'sums' in affinity_matrix.index
False
这是错误:
ipdb> affinity_matrix.loc['sums'] = affinity_matrix.sum(axis=0)
*** ValueError: cannot reindex from a duplicate axis
我尝试用一个简单的例子重现这个,但我失败了
In [32]: import pandas as pd
In [33]: import numpy as np
In [34]: a = np.arange(35).reshape(5,7)
In [35]: df = pd.DataFrame(a, ['x', 'y', 'u', 'z', 'w'], range(10, 17))
In [36]: df.values.dtype
Out[36]: dtype('int64')
In [37]: df.loc['sums'] = df.sum(axis=0)
In [38]: df
Out[38]:
10 11 12 13 14 15 16
x 0 1 2 3 4 5 6
y 7 8 9 10 11 12 13
u 14 15 16 17 18 19 20
z 21 22 23 24 25 26 27
w 28 29 30 31 32 33 34
sums 70 75 80 85 90 95 100
答案 0 :(得分:113)
当索引具有重复值时,当您加入/分配列时,此错误通常会上升。由于您要分配一行,我怀疑affinity_matrix.columns
中存在重复值,可能未在您的问题中显示。
答案 1 :(得分:112)
正如其他人所说,您可能在原始索引中有重复值。要找到它们,请执行以下操作:
df[df.index.duplicated()]
答案 2 :(得分:16)
如果通过连接其他DataFrame来创建DataFrame,则通常会出现具有重复值的索引。如果您不关心保留索引的值,并希望它们是唯一值,则在连接数据时,请设置ignore_index=False
。
或者,要使用新索引覆盖当前索引,而不是使用df.reindex()
,请设置:
df.index = new_index
答案 3 :(得分:7)
最后只需使用.values
。
affinity_matrix.loc['sums'] = affinity_matrix.sum(axis=0).values
答案 4 :(得分:7)
对于仍在为该错误而苦苦挣扎的人们,如果您不小心创建了一个具有相同名称的重复列,也会发生这种情况。删除重复的列,如下所示:
df = df.loc[:,~df.columns.duplicated()]
答案 5 :(得分:5)
答案 6 :(得分:3)
在我的情况下,弹出此错误不是因为重复值,而是因为我尝试将较短的系列连接到Dataframe:两者都具有相同的索引,但系列的行数较少(缺少前几个)。以下是我的目的:
df.head()
SensA
date
2018-04-03 13:54:47.274 -0.45
2018-04-03 13:55:46.484 -0.42
2018-04-03 13:56:56.235 -0.37
2018-04-03 13:57:57.207 -0.34
2018-04-03 13:59:34.636 -0.33
series.head()
date
2018-04-03 14:09:36.577 62.2
2018-04-03 14:10:28.138 63.5
2018-04-03 14:11:27.400 63.1
2018-04-03 14:12:39.623 62.6
2018-04-03 14:13:27.310 62.5
Name: SensA_rrT, dtype: float64
df = series.to_frame().combine_first(df)
df.head(10)
SensA SensA_rrT
date
2018-04-03 13:54:47.274 -0.45 NaN
2018-04-03 13:55:46.484 -0.42 NaN
2018-04-03 13:56:56.235 -0.37 NaN
2018-04-03 13:57:57.207 -0.34 NaN
2018-04-03 13:59:34.636 -0.33 NaN
2018-04-03 14:00:34.565 -0.33 NaN
2018-04-03 14:01:19.994 -0.37 NaN
2018-04-03 14:02:29.636 -0.34 NaN
2018-04-03 14:03:31.599 -0.32 NaN
2018-04-03 14:04:30.779 -0.33 NaN
2018-04-03 14:05:31.733 -0.35 NaN
2018-04-03 14:06:33.290 -0.38 NaN
2018-04-03 14:07:37.459 -0.39 NaN
2018-04-03 14:08:36.361 -0.36 NaN
2018-04-03 14:09:36.577 -0.37 62.2
答案 7 :(得分:0)
我在同一问题上浪费了几个小时。就我而言,在使用Apply函数之前,我必须 reset_index()。 在合并或从另一个索引数据集查找之前,您需要重置索引,因为1个数据集只能有1个索引。
答案 8 :(得分:0)
当我尝试从其他表中添加列时出现此错误。确实,我在此过程中得到了重复的索引值。但是事实证明我只是在做错了:我实际上需要df.join
另一张桌子。
此指针可能会帮助处于类似情况的人。
答案 9 :(得分:0)
这也可能是一个原因[:)我这样解决了我的问题]
即使您尝试在数据框内插入数据框类型列也可能发生
你可以试试这个
df['my_new']=pd.Series(my_new.values)
答案 10 :(得分:0)
如果在合并两个数据框并删除后缀后出现此错误,请尝试写入excel 您的问题是您没有合并的列对于两个源 DataFrame 都是通用的。 Pandas 需要一种方法来说明哪个来自哪里,因此它添加了后缀,默认为左侧的 '_x' 和右侧的 '_y'。
如果您对保留列来自哪个源数据框有偏好,那么您可以设置后缀并相应地进行过滤,例如,如果您想保留左侧的冲突列:
# Label the two sides, with no suffix on the side you want to keep
df = pd.merge(
df,
tempdf[what_i_care_about],
on=['myid', 'myorder'],
how='outer',
suffixes=('', '_delete_suffix') # Left gets no suffix, right gets something identifiable
)
# Discard the columns that acquired a suffix
df = df[[c for c in df.columns if not c.endswith('_delete_suffix')]]
或者,您可以在合并之前删除每个冲突列中的一个,然后 Pandas 无需分配后缀。