Question

我有一个非常大的numpy.ndarray。它基本上是一个数组数组。我想将其转换为pandas.DataFrame。我想要做的是在下面的代码中

from pandas import DataFrame

cache1 = DataFrame([{'id1': 'ABC1234'}, {'id1': 'NCMN7838'}])
cache2 = DataFrame([{'id2': 3276827}, {'id2': 98567498}, {'id2': 38472837}])

ndarr = [[4.3, 5.6, 6.7], [3.2, 4.5, 2.1]]
arr = []
for idx, i in enumerate(ndarr):
    id1 = cache1.ix[idx].id1
    for idx2, val in enumerate(i):
        id2 = cache2.ix[idx2].id2
        if val > 0:
            arr.append(dict(id1=id1, id2=id2, value=val))
df = DataFrame(arr)
print(df.head())

我将外部数组和内部数组的索引映射到两个DataFrame的索引以获取某些ID。 cache1和cache2是pandas.DataFrame。每个都有~100k行。

这需要很长时间，比如几个小时才能完成。有什么办法可以加快速度吗？

Answer 1

我怀疑您的ndarr，如果表示为2d np.array，则总是具有n,m的形状，其中n是cache1.id1的长度， m是cache2.id2的长度。而cache2中的最后一个条目应该是{'id2': 38472837}而不是{'id': 38472837}。如果是这样，以下简单的解决方案可能就是所需要的：

In [30]:

df=pd.DataFrame(np.array(ndarr).ravel(),
             index=pd.MultiIndex.from_product([cache1.id1.values, cache2.id2.values],names=['idx1', 'idx2']),
             columns=['val'])
In [33]:

print df.reset_index()
       idx1      idx2  val
0   ABC1234   3276827  4.3
1   ABC1234  98567498  5.6
2   ABC1234  38472837  6.7
3  NCMN7838   3276827  3.2
4  NCMN7838  98567498  4.5
5  NCMN7838  38472837  2.1

[6 rows x 3 columns]

实际上，我也认为，让它保持MultiIndex可能是一个更好的主意。

Answer 2

这样的事情应该有效：

ndarr = np.asarray(ndarr) # if ndarr is actually an array, skip this
fast_df = pd.DataFrame({"value": ndarr.ravel()})
i1, i2 = [i.ravel() for i in np.indices(ndarr.shape)]
fast_df["id1"] = cache1["id1"].loc[i1].values
fast_df["id2"] = cache2["id2"].loc[i2].values

给出了

>>> fast_df
   value       id1       id2
0    4.3   ABC1234   3276827
1    5.6   ABC1234  98567498
2    6.7   ABC1234       NaN
3    3.2  NCMN7838   3276827
4    4.5  NCMN7838  98567498
5    2.1  NCMN7838       NaN

然后，如果您真的想要删除零值，则只能使用fast_df = fast_df[fast_df['value'] != 0]保留非零值。

将2D numpy.ndarray转换为pandas.DataFrame

2 个答案: