Question

我遇到了一个令人作呕的问题，处理pandas 0.14.0中DataFrame的to_csv（）函数。我有一个长numpy数组列表作为DataFrame df中的一列：

>>> df['col'][0]    
array([   0,    1,    2, ..., 9993, 9994, 9995])
>>> len(df['col'][0])
46889
>>> type(df['col'][0][0])
<class 'numpy.int64'>

如果我通过

保存df

df.to_csv('df.csv')

并在LibreOffice中打开df.csv，相应的列显示如下：

[ 0,    1,    2, ..., 9993, 9994, 9995]

而不是列出所有46889号码。我想知道是否有一种方法可以强制to_csv列出所有数字而不是显示省略号？

df.info（）

<class 'pandas.core.frame.DataFrame'>
Int64Index: 2 entries, 0 to 1
Data columns (total 4 columns):
pair          2 non-null object
ARXscore      2 non-null float64
bselect       2 non-null bool
col           2 non-null object
dtypes: bool(1), float64(1), object(2)

Answer 1

在某种意义上，这是printing the entire numpy array的副本，因为to_csv只是询问你的DataFrame中的每个项目__str__，所以你需要看看它是如何打印的：

In [11]: np.arange(10000)
Out[11]: array([   0,    1,    2, ..., 9997, 9998, 9999])

In [12]: np.arange(10000).__str__()
Out[12]: '[   0    1    2 ..., 9997 9998 9999]'

你可以看到它超过某个阈值时会用省略号打印，将其设置为NaN：

np.set_printoptions(threshold='nan')

举个例子：

In [21]: df = pd.DataFrame([[np.arange(10000)]])

In [22]: df  # Note: pandas printing is different!!
Out[22]:
                                                   0
0  [0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13,...

In [23]: s = StringIO()

In [24]: df.to_csv(s)

In [25]: s.getvalue()  # ellipsis
Out[25]: ',0\n0,"[   0    1    2 ..., 9997 9998 9999]"\n'

更改后to_csv记录整个数组：

In [26]: np.set_printoptions(threshold='nan')

In [27]: s = StringIO()

In [28]: df.to_csv(s)

In [29]: s.getvalue()  # no ellipsis (it's all there)
Out[29]: ',0\n0,"[   0    1    2    3    4    5    6    7    8    9   10   11   12   13   14\n   15   16   17   18   19   20   21   22   23   24   25   26   27   28   29\n   30   31   32   33   34   35   36   37   38   39   40   41   42   43   44\n   45   46   47   48   49   50   51   52   53   54   55   56   57   58   59\n   60   61  # the whole thing is here...

如上所述，对于DataFrame（对象列中的numpy数组）来说，这通常不是一个很好的结构选择，因为你失去了大部分的pandas速度/效率/魔术酱。

Answer 2

np.set_printoptions(threshold='nan')

不适用于最新版本。使用：

import sys
import numpy
numpy.set_printoptions(threshold=sys.maxsize)

Pandas to_csv总是用省略号代替long numpy.ndarray

2 个答案: