我很想知道如何将pandas数据帧转换为NumPy数组。
数据帧：
import numpy as np
import pandas as pd
index = [1, 2, 3, 4, 5, 6, 7]
a = [np.nan, np.nan, np.nan, 0.1, 0.1, 0.1, 0.1]
b = [0.2, np.nan, 0.2, 0.2, 0.2, np.nan, np.nan]
c = [np.nan, 0.5, 0.5, np.nan, 0.5, 0.5, np.nan]
df = pd.DataFrame({'A': a, 'B': b, 'C': c}, index=index)
df = df.rename_axis('ID')
给出
label A B C
ID
1 NaN 0.2 NaN
2 NaN NaN 0.5
3 NaN 0.2 0.5
4 0.1 0.2 NaN
5 0.1 0.2 0.5
6 0.1 NaN 0.5
7 0.1 NaN NaN
我想将其转换为NumPy数组，如下所示：
array([[ nan, 0.2, nan],
[ nan, nan, 0.5],
[ nan, 0.2, 0.5],
[ 0.1, 0.2, nan],
[ 0.1, 0.2, 0.5],
[ 0.1, nan, 0.5],
[ 0.1, nan, nan]])
我该怎么做？
作为奖励，是否可以像这样保留dtypes？
array([[ 1, nan, 0.2, nan],
[ 2, nan, nan, 0.5],
[ 3, nan, 0.2, 0.5],
[ 4, 0.1, 0.2, nan],
[ 5, 0.1, 0.2, 0.5],
[ 6, 0.1, nan, 0.5],
[ 7, 0.1, nan, nan]],
dtype=[('ID', '<i4'), ('A', '<f8'), ('B', '<f8'), ('B', '<f8')])
或类似。
有关如何完成此任务的任何建议？
答案 0 :(得分：279)
要将pandas数据帧（df）转换为numpy ndarray，请使用以下代码：
df.values
array([[nan, 0.2, nan],
[nan, nan, 0.5],
[nan, 0.2, 0.5],
[0.1, 0.2, nan],
[0.1, 0.2, 0.5],
[0.1, nan, 0.5],
[0.1, nan, nan]])
答案 1 :(得分：121)
注意 ：不推荐使用此回答中使用的.as_matrix()方法。 Pandas 0.23.4警告：
将来的版本中将删除方法
.as_matrix。改为使用.values。
熊猫有内置的东西......
numpy_matrix = df.as_matrix()
给出
array([[nan, 0.2, nan],
[nan, nan, 0.5],
[nan, 0.2, 0.5],
[0.1, 0.2, nan],
[0.1, 0.2, 0.5],
[0.1, nan, 0.5],
[0.1, nan, nan]])
答案 2 :(得分：62)
我只想链接DataFrame.reset_index()和DataFrame.values函数来获取数据帧的Numpy表示，包括索引：
In [8]: df
Out[8]:
A B C
0 -0.982726 0.150726 0.691625
1 0.617297 -0.471879 0.505547
2 0.417123 -1.356803 -1.013499
3 -0.166363 -0.957758 1.178659
4 -0.164103 0.074516 -0.674325
5 -0.340169 -0.293698 1.231791
6 -1.062825 0.556273 1.508058
7 0.959610 0.247539 0.091333
[8 rows x 3 columns]
In [9]: df.reset_index().values
Out[9]:
array([[ 0. , -0.98272574, 0.150726 , 0.69162512],
[ 1. , 0.61729734, -0.47187926, 0.50554728],
[ 2. , 0.4171228 , -1.35680324, -1.01349922],
[ 3. , -0.16636303, -0.95775849, 1.17865945],
[ 4. , -0.16410334, 0.0745164 , -0.67432474],
[ 5. , -0.34016865, -0.29369841, 1.23179064],
[ 6. , -1.06282542, 0.55627285, 1.50805754],
[ 7. , 0.95961001, 0.24753911, 0.09133339]])
要获取dtypes，我们需要使用view将此ndarray转换为结构化数组：
In [10]: df.reset_index().values.ravel().view(dtype=[('index', int), ('A', float), ('B', float), ('C', float)])
Out[10]:
array([( 0, -0.98272574, 0.150726 , 0.69162512),
( 1, 0.61729734, -0.47187926, 0.50554728),
( 2, 0.4171228 , -1.35680324, -1.01349922),
( 3, -0.16636303, -0.95775849, 1.17865945),
( 4, -0.16410334, 0.0745164 , -0.67432474),
( 5, -0.34016865, -0.29369841, 1.23179064),
( 6, -1.06282542, 0.55627285, 1.50805754),
( 7, 0.95961001, 0.24753911, 0.09133339),
dtype=[('index', '<i8'), ('A', '<f8'), ('B', '<f8'), ('C', '<f8')])
答案 3 :(得分：49)
values和as_matrix()！从v0.24.0开始，我们介绍了两个全新的，首选方法，可从熊猫对象中获取NumPy数组：
to_numpy() ，它是在Index，Series,和DataFrame对象上定义的，并且array ，仅在Index和Series对象上定义。如果您访问.values的v0.24文档，则会看到一个红色的大警告：
警告：我们建议改用
DataFrame.to_numpy()。
有关更多信息，请参见this section of the v0.24.0 release notes和this answer。
to_numpy() 本着整个API更好的一致性的精神，引入了一种新方法to_numpy，用于从DataFrames中提取底层的NumPy数组。
# Setup.
df = pd.DataFrame({'A': [1, 2, 3], 'B': [4, 5, 6]}, index=['a', 'b', 'c'])
df
A B
a 1 4
b 2 5
c 3 6
df.to_numpy()
array([[1, 4],
[2, 5],
[3, 6]])
如上所述，还在Index和Series对象上定义了此方法（请参见here）。
df.index.to_numpy()
# array(['a', 'b', 'c'], dtype=object)
df['A'].to_numpy()
# array([1, 2, 3])
默认情况下，将返回视图，因此所做的任何修改都会影响原始视图。
v = df.to_numpy()
v[0, 0] = -1
df
A B
a -1 4
b 2 5
c 3 6
如果您需要副本，请使用to_numpy(copy=True）;
v = df.to_numpy(copy=True)
v[0, 0] = -123
df
A B
a 1 4
b 2 5
c 3 6
如果您需要保留dtypes ...
如另一个答案所示，DataFrame.to_records是执行此操作的好方法。
df.to_records()
# rec.array([('a', -1, 4), ('b', 2, 5), ('c', 3, 6)],
# dtype=[('index', 'O'), ('A', '<i8'), ('B', '<i8')])
很遗憾，to_numpy无法做到这一点。但是，您也可以使用np.rec.fromrecords：
v = df.reset_index()
np.rec.fromrecords(v, names=v.columns.tolist())
# rec.array([('a', -1, 4), ('b', 2, 5), ('c', 3, 6)],
# dtype=[('index', '<U1'), ('A', '<i8'), ('B', '<i8')])
在性能方面，它几乎是相同的（实际上，使用rec.fromrecords会快一点）。
df2 = pd.concat([df] * 10000)
%timeit df2.to_records()
%%timeit
v = df2.reset_index()
np.rec.fromrecords(v, names=v.columns.tolist())
11.1 ms ± 557 µs per loop (mean ± std. dev. of 7 runs, 100 loops each)
9.67 ms ± 126 µs per loop (mean ± std. dev. of 7 runs, 100 loops each)
to_numpy()（除了array）。
具体来说，文档中提到了基本原理：
[...]与
.values并不清楚返回的值是否为 实际数组，对其进行某种转换，或熊猫自定义之一 数组（如Categorical）。例如，使用PeriodIndex，.values每次都会生成一个新的ndarray周期对象。 [...]
to_numpy旨在改善API的一致性，这是朝着正确方向迈出的重要一步。 .values在当前版本中不会被弃用，但是我希望这种情况可能会在将来的某个时候发生，因此我敦促用户尽快向较新的API迁移。
DataFrame.values的行为不一致。
DataFrame.get_values()只是DataFrame.values的包装，因此上述所有内容均适用。
DataFrame.as_matrix()现在已弃用，请不要使用！
答案 4 :(得分：30)
您可以使用to_records方法，但如果它们不是您想要的，那么必须使用dtypes。在我的例子中，从字符串复制了DF，索引类型是字符串（在pandas中用object dtype表示）：
In [102]: df
Out[102]:
label A B C
ID
1 NaN 0.2 NaN
2 NaN NaN 0.5
3 NaN 0.2 0.5
4 0.1 0.2 NaN
5 0.1 0.2 0.5
6 0.1 NaN 0.5
7 0.1 NaN NaN
In [103]: df.index.dtype
Out[103]: dtype('object')
In [104]: df.to_records()
Out[104]:
rec.array([(1, nan, 0.2, nan), (2, nan, nan, 0.5), (3, nan, 0.2, 0.5),
(4, 0.1, 0.2, nan), (5, 0.1, 0.2, 0.5), (6, 0.1, nan, 0.5),
(7, 0.1, nan, nan)],
dtype=[('index', '|O8'), ('A', '<f8'), ('B', '<f8'), ('C', '<f8')])
In [106]: df.to_records().dtype
Out[106]: dtype([('index', '|O8'), ('A', '<f8'), ('B', '<f8'), ('C', '<f8')])
转换recarray dtype对我来说不起作用，但是人们可以在Pandas中做到这一点：
In [109]: df.index = df.index.astype('i8')
In [111]: df.to_records().view([('ID', '<i8'), ('A', '<f8'), ('B', '<f8'), ('C', '<f8')])
Out[111]:
rec.array([(1, nan, 0.2, nan), (2, nan, nan, 0.5), (3, nan, 0.2, 0.5),
(4, 0.1, 0.2, nan), (5, 0.1, 0.2, 0.5), (6, 0.1, nan, 0.5),
(7, 0.1, nan, nan)],
dtype=[('ID', '<i8'), ('A', '<f8'), ('B', '<f8'), ('C', '<f8')])
请注意，Pandas没有在导出的记录数组中正确设置索引的名称（到ID）（一个错误？），所以我们从类型转换中获益也是为了纠正它。
目前Pandas只有8个字节的整数，i8和浮点数f8（见issue）。
答案 5 :(得分：22)
似乎df.to_records()对您有用。您正在寻找was requested和to_records的确切功能作为替代方案。
我在本地使用您的示例尝试了这个，并且该调用产生了与您正在寻找的输出非常相似的内容：
rec.array([(1, nan, 0.2, nan), (2, nan, nan, 0.5), (3, nan, 0.2, 0.5),
(4, 0.1, 0.2, nan), (5, 0.1, 0.2, 0.5), (6, 0.1, nan, 0.5),
(7, 0.1, nan, nan)],
dtype=[(u'ID', '<i8'), (u'A', '<f8'), (u'B', '<f8'), (u'C', '<f8')])
请注意，这是recarray而不是array。您可以通过将其构造函数调用为np.array(df.to_records())来将结果移动到常规numpy数组中。
答案 6 :(得分：8)
这是我从pandas DataFrame制作结构数组的方法。
创建数据框
import pandas as pd
import numpy as np
import six
NaN = float('nan')
ID = [1, 2, 3, 4, 5, 6, 7]
A = [NaN, NaN, NaN, 0.1, 0.1, 0.1, 0.1]
B = [0.2, NaN, 0.2, 0.2, 0.2, NaN, NaN]
C = [NaN, 0.5, 0.5, NaN, 0.5, 0.5, NaN]
columns = {'A':A, 'B':B, 'C':C}
df = pd.DataFrame(columns, index=ID)
df.index.name = 'ID'
print(df)
A B C
ID
1 NaN 0.2 NaN
2 NaN NaN 0.5
3 NaN 0.2 0.5
4 0.1 0.2 NaN
5 0.1 0.2 0.5
6 0.1 NaN 0.5
7 0.1 NaN NaN
定义函数以从pandas DataFrame创建一个numpy结构数组（不是记录数组）。
def df_to_sarray(df):
"""
Convert a pandas DataFrame object to a numpy structured array.
This is functionally equivalent to but more efficient than
np.array(df.to_array())
:param df: the data frame to convert
:return: a numpy structured array representation of df
"""
v = df.values
cols = df.columns
if six.PY2: # python 2 needs .encode() but 3 does not
types = [(cols[i].encode(), df[k].dtype.type) for (i, k) in enumerate(cols)]
else:
types = [(cols[i], df[k].dtype.type) for (i, k) in enumerate(cols)]
dtype = np.dtype(types)
z = np.zeros(v.shape[0], dtype)
for (i, k) in enumerate(z.dtype.names):
z[k] = v[:, i]
return z
使用reset_index创建一个新数据框，其中包含索引作为其数据的一部分。将该数据帧转换为结构数组。
sa = df_to_sarray(df.reset_index())
sa
array([(1L, nan, 0.2, nan), (2L, nan, nan, 0.5), (3L, nan, 0.2, 0.5),
(4L, 0.1, 0.2, nan), (5L, 0.1, 0.2, 0.5), (6L, 0.1, nan, 0.5),
(7L, 0.1, nan, nan)],
dtype=[('ID', '<i8'), ('A', '<f8'), ('B', '<f8'), ('C', '<f8')])
编辑：更新了df_to_sarray以避免使用python 3调用.encode（）错误。感谢Joseph Garvin和halcyon的评论和解决方案。
答案 7 :(得分：6)
将数据帧转换为Numpy-array表示的两种方法。
mah_np_array = df.as_matrix(columns=None)
mah_np_array = df.values
Doc：https://pandas.pydata.org/pandas-docs/stable/generated/pandas.DataFrame.as_matrix.html
答案 8 :(得分：4)
示例DataFrame的更简单方法：
df
gbm nnet reg
0 12.097439 12.047437 12.100953
1 12.109811 12.070209 12.095288
2 11.720734 11.622139 11.740523
3 11.824557 11.926414 11.926527
4 11.800868 11.727730 11.729737
5 12.490984 12.502440 12.530894
使用：
np.array(df.to_records().view(type=np.matrix))
获取：
array([[(0, 12.097439 , 12.047437, 12.10095324),
(1, 12.10981081, 12.070209, 12.09528824),
(2, 11.72073428, 11.622139, 11.74052253),
(3, 11.82455653, 11.926414, 11.92652727),
(4, 11.80086775, 11.72773 , 11.72973699),
(5, 12.49098389, 12.50244 , 12.53089367)]],
dtype=(numpy.record, [('index', '<i8'), ('gbm', '<f8'), ('nnet', '<f4'),
('reg', '<f8')]))
答案 9 :(得分：3)
从dataframe导出到arcgis表时遇到了类似的问题，偶然发现了usgs（https://my.usgs.gov/confluence/display/cdi/pandas.DataFrame+to+ArcGIS+Table）的解决方案。 简而言之，您的问题也有类似的解决方案：
df
A B C
ID
1 NaN 0.2 NaN
2 NaN NaN 0.5
3 NaN 0.2 0.5
4 0.1 0.2 NaN
5 0.1 0.2 0.5
6 0.1 NaN 0.5
7 0.1 NaN NaN
np_data = np.array(np.rec.fromrecords(df.values))
np_names = df.dtypes.index.tolist()
np_data.dtype.names = tuple([name.encode('UTF8') for name in np_names])
np_data
array([( nan, 0.2, nan), ( nan, nan, 0.5), ( nan, 0.2, 0.5),
( 0.1, 0.2, nan), ( 0.1, 0.2, 0.5), ( 0.1, nan, 0.5),
( 0.1, nan, nan)],
dtype=(numpy.record, [('A', '<f8'), ('B', '<f8'), ('C', '<f8')]))
答案 10 :(得分：2)
继meteore的回答之后，我找到了代码
df.index = df.index.astype('i8')
对我不起作用。所以我把我的代码放在这里是为了方便其他人坚持这个问题。
city_cluster_df = pd.read_csv(text_filepath, encoding='utf-8')
# the field 'city_en' is a string, when converted to Numpy array, it will be an object
city_cluster_arr = city_cluster_df[['city_en','lat','lon','cluster','cluster_filtered']].to_records()
descr=city_cluster_arr.dtype.descr
# change the field 'city_en' to string type (the index for 'city_en' here is 1 because before the field is the row index of dataframe)
descr[1]=(descr[1][0], "S20")
newArr=city_cluster_arr.astype(np.dtype(descr))
答案 11 :(得分：1)
写入to_numpy而不是to_numpy()来保留dtypes。
答案 12 :(得分：1)
将数据帧转换为numpy数组的简单方法：
import pandas as pd
df = pd.DataFrame({"A": [1, 2], "B": [3, 4]})
df_to_array = df.to_numpy()
array([[1, 3],
[2, 4]])
鼓励使用to_numpy来保持一致性。
参考： https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.DataFrame.to_numpy.html
答案 13 :(得分：0)
尝试一下：
a = numpy.asarray(df)
答案 14 :(得分：0)
我经历了以上答案。 “ as_matrix（）”方法有效，但现在已过时。对我来说，有效的方法是“ .to_numpy（）”。
这将返回一个多维数组。如果您要从excel工作表中读取数据，并且需要从任何索引访问数据，则我会更喜欢使用此方法。希望这会有所帮助：）
答案 15 :(得分：0)
尝试一下：
np.array(df)
array([['ID', nan, nan, nan],
['1', nan, 0.2, nan],
['2', nan, nan, 0.5],
['3', nan, 0.2, 0.5],
['4', 0.1, 0.2, nan],
['5', 0.1, 0.2, 0.5],
['6', 0.1, nan, 0.5],
['7', 0.1, nan, nan]], dtype=object)
更多信息，请访问：[https://docs.scipy.org/doc/numpy/reference/generated/numpy.array.html] 适用于numpy 1.16.5和pandas 0.25.2。