翻新代码

Question

我在拥有2500万条记录的pandas数据框中有非常稀疏的数据。这必须转换为多维numpy数组。我使用for循环以直截了当的方式编写了这个，并且想知道是否有更有效的方法。

import numpy as np
import pandas as pd

facts_pd = pd.DataFrame.from_records(columns=['name','offset','code'],
    data=[('John', -928, 'dx_434'), ('Steve',-757,'dx_5859'), ('Jack',-800,'dx_250'),
          ('John',-919,'dx_401'),('John',-956,'dx_5859')])

name_lu = pd.DataFrame(sorted(facts_pd['name'].unique()), columns=['name'])
name_lu["nameid"] = name_lu.index

offset_lu = pd.DataFrame(sorted(facts_pd['offset'].unique(), reverse=True), columns=['offset'])
offset_lu["offsetid"] = offset_lu.index

code_lu = pd.DataFrame(sorted(facts_pd['code'].unique()), columns=['code'])
code_lu["codeid"] = code_lu.index

facts_pd = pd.merge(pd.merge(pd.merge(facts_pd, name_lu, how="left", on="name")
    , offset_lu, how="left", on="offset"), code_lu, how="left", on="code")
facts_pd.drop(["name","offset","code"], inplace=True, axis=1)

facts_np = np.zeros((len(name_lu),len(offset_lu),len(code_lu)))
for row in facts_pd.iterrows():
    i,j,k = row[1]
    facts_np[i][j][k] = 1

Answer 1

你可能正在寻找的命令是dataframe.as_matrix()这将返回一个numpy数组而不是矩阵，尽管命令说here是它的手册页。

Here是另一个关于使用它的堆栈溢出主题

Answer 2

翻新代码

将numpy导入为np

将pandas导入为pd

facts_pd = pd.DataFrame.from_records（columns = [＆＃39; name＆＃39;，＆＃39; offset＆＃39;，＆＃39; code＆＃39;]， data = [（＆＃39; John＆＃39;，-928，＆＃39; dx_434＆＃39;），（＆＃39; Steve＆＃39;， - 757，＆＃39; dx_5859＆＃39;），（＆＃39;杰克＆＃39;， - 800，＆＃39; dx_250＆＃39），（＆＃39;约翰＆＃39;， - 919，＆＃39; dx_401＆＃39），（＆＃39;约翰＆＃39;， - 956，＆＃39; dx_5859＆＃39）]）

facts_np = facts_pd.as_matrix（）

print facts_np＃以numpy数组格式显示数据帧。

将pandas df转换为多维numpy数组

2 个答案:

翻新代码