Question

我有一个以制表符分隔的文件：

$ echo -e 'abc\txyz\t0.9\nefg\txyz\t0.3\nlmn\topq\t0.23\nabc\tjkl\t0.5\n' > test.txt
$ cat test.txt
abc xyz 0.9
efg xyz 0.3
lmn opq 0.23
abc jkl 0.5

$ python
>>> from sframe import SFrame
>>> sf = SFrame.read_csv('test.txt', header=False, delimiter='\t', column_type_hints=[unicode, unicode, float])
[INFO] sframe.cython.cy_server: SFrame v2.1 started. Logging /tmp/sframe_server_1479718846.log
>>> sf
Columns:
    X1  str
    X2  str
    X3  float

Rows: 4

Data:
+-----+-----+------+
|  X1 |  X2 |  X3  |
+-----+-----+------+
| abc | xyz | 0.9  |
| efg | xyz | 0.3  |
| lmn | opq | 0.23 |
| abc | jkl | 0.5  |
+-----+-----+------+
[4 rows x 3 columns]

目标是实现一个不同的SFrame，其中一个独特的行由＆＃39; X1＆＃39;组成。列是来自＆＃39; X2＆＃39;的值，即：

+-----+-----+-----+------+
|  X1 | xyz | opq |  jkl |
+-----+-----+-----+------+
| abc | 0.9 | 0.0 |  0.5 |
+-----+-----+-----+------+
| efg | 0.3 | 0.0 |  0.0 |
+-----+-----+-----+------+
| lmn | 0.0 | 0.23|  0.0 |
+-----+-----+-----+------+

我尝试过没有SFrame：

>>> import io
>>> with io.open('test.txt', 'r', encoding='utf8') as fin:
...     for line in fin:
...             if line.strip():
...                     s,t,p = line.strip().split('\t')
...                     matrix[(s,t)] = float(p)
... 
>>> matrix
{(u'abc', u'jkl'): 0.5, (u'abc', u'xyz'): 0.9, (u'lmn', u'opq'): 0.23, (u'efg', u'xyz'): 0.3}

>>> col1, col2 = zip(*matrix.keys())
>>> [[matrix.get((c1,c2), 0.0) for c2 in col2] for c1 in col1]
[[0.5, 0.9, 0.0, 0.9], [0.5, 0.9, 0.0, 0.9], [0.0, 0.0, 0.23, 0.0], [0.0, 0.3, 0.0, 0.3]]
>>> import numpy as np
>>> np.array([[matrix.get((c1,c2), 0.0) for c2 in col2] for c1 in col1])
array([[ 0.5 ,  0.9 ,  0.  ,  0.9 ],
       [ 0.5 ,  0.9 ,  0.  ,  0.9 ],
       [ 0.  ,  0.  ,  0.23,  0.  ],
       [ 0.  ,  0.3 ,  0.  ,  0.3 ]])
>>> SFrame(np.array([[matrix.get((c1,c2), 0.0) for c2 in col2] for c1 in col1]))
Columns:
    X1  array

Rows: 4

Data:
+-----------------------+
|           X1          |
+-----------------------+
|  [0.5, 0.9, 0.0, 0.9] |
|  [0.5, 0.9, 0.0, 0.9] |
| [0.0, 0.0, 0.23, 0.0] |
|  [0.0, 0.3, 0.0, 0.3] |
+-----------------------+
[4 rows x 1 columns]

但是那仍然没有得到我想要的SFrame。 如何将唯一列转换为具有相应值的SFrame标头？ I.e。实现：

+-----+-----+-----+------+
|  X1 | xyz | opq |  jkl |
+-----+-----+-----+------+
| abc | 0.9 | 0.0 |  0.5 |
+-----+-----+-----+------+
| efg | 0.3 | 0.0 |  0.0 |
+-----+-----+-----+------+
| lmn | 0.0 | 0.23|  0.0 |
+-----+-----+-----+------+

必须有一种更简单的方法来做到这一点。想象一下，独特的没有。列元素最多可达1,000,000，结果SFrame的大小可能为1,000,000 X 1,000,000，因此需要SFrame或HDF（如数据结构），而不是numpy数组或本地python列表列表。

Answer 1

使用df.pivot(index='X1', columns='X2', values='X3')或执行df.set_index(['X1','X2']).unstack('X2')（请参阅本文末尾），你想要做的事情在熊猫中真的微不足道。

似乎在SFrame中既不存在。（我可能错了，直到现在才使用SFrame，但我在文档中找不到任何证据）。

您需要使用SFrame.unstack()和SFrame.unpack()才能获得所需的结果。

from sframe import SFrame
sf = SFrame.read_csv('test.txt', header=False, delimiter='\t', column_type_hints=[unicode, unicode, float])

Fist，unstack：

sf2 = sf.unstack(['X2', 'X3'], new_column_name='dict_counts')
sf2

X1      dict_counts
efg     {'xyz': 0.3}
lmn     {'opq': 0.23}
abc     {'jkl': 0.5, 'xyz': 0.9}

然后解压缩：

out = sf2.unpack('dict_counts', column_name_prefix='')
out

X1      jkl     opq     xyz
efg     None    None    0.3
lmn     None    0.23    None
abc     0.5     None    0.9

最后，如果您愿意，可以使用None来填充0：

for c in out.column_names():
    out = out.fillna(c, 0)
out


X1      jkl     opq     xyz
efg     0.0     0.0     0.3
lmn     0.0     0.23    0.0
abc     0.5     0.0     0.9

另一种粗略的做法可能是将pandas DataFrame转换为它来转动它，但如果你的数据集太大，这可能不起作用：

import pandas as pd
from sframe import SFrame
sf = SFrame.read_csv('test.txt', header=False, delimiter='\t', column_type_hints=[unicode, unicode, float])
sf = SFrame(data=sf.to_dataframe().pivot(index='X1', columns='X2', values='X3').fillna(0).reset_index())

将唯一列转换为具有相应值的SFrame标头

1 个答案: