我在数据文件data.dat中有数据:
column_1 col col col col col
1 2 3 1 2 3
4 3 2 3 2 4
1 4 3 1 4 3
5 6 4 5 6 4
我正在尝试使用np.genfromtxt导入,因此列名为col的所有数据都存储在变量y中。我尝试使用代码:
import numpy as np
data = np.genfromtxt('data.dat', comments='#', delimiter='\t', dtype=None, names=True).transpose()
y = data['col']
但它给了我以下错误:
ValueError: two fields with the same name
如何在Python中解决这个问题?
答案 0 :(得分:1)
当您使用name=True
时,np.genfromtxt
会返回structured array。请注意,col
中标有data.dat
的列已被消除歧义为col_n
形式的列名:
In [114]: arr = np.genfromtxt('data', comments='#', delimiter='\t', dtype=None, names=True)
In [115]: arr
Out[115]:
array([(1, 2, 3, 1, 2, 3), (4, 3, 2, 3, 2, 4), (1, 4, 3, 1, 4, 3),
(5, 6, 4, 5, 6, 4)],
dtype=[('column_1', '<i8'), ('col', '<i8'), ('col_1', '<i8'), ('col_2', '<i8'), ('col_3', '<i8'), ('col_4', '<i8')])
因此,一旦您使用names=True
,就很难选择与列名col
相关联的所有数据。此外,结构化数组不允许您一次切割多个列。因此,将数据加载到同源dtype数组(这是没有names=True
的情况下)会更方便:
with open('data.dat', 'rb') as f:
header = f.readline().strip().split('\t')
arr = np.genfromtxt(f, comments='#', delimiter='\t', dtype=None)
然后,您可以找到名称为col
的列的数字索引:
idx = [i for i, col in enumerate(header) if col=='col']
并使用
选择所有数据y = arr[:, idx]
例如,
import numpy as np
with open('data.dat', 'rb') as f:
header = f.readline().strip().split('\t')
arr = np.genfromtxt(f, comments='#', delimiter='\t', dtype=None)
idx = [i for i, col in enumerate(header) if col=='col']
y = arr[:, idx]
print(y)
产量
[[2 3 1 2 3]
[3 2 3 2 4]
[4 3 1 4 3]
[6 4 5 6 4]]
如果您希望y
为1维,则可以使用ravel()
:
print(y.ravel())
产量
[2 3 1 2 3 3 2 3 2 4 4 3 1 4 3 6 4 5 6 4]