Question

我有一个以这种格式到达的数据：

[
  (1, "000010101001010101011101010101110101", "aaa", ... ),
  (0, "111101010100101010101110101010111010", "bb", ... ),
  (0, "100010110100010101001010101011101010", "ccc", ... ),
  (1, "000010101001010101011101010101110101", "ddd", ... ),
  (1, "110100010101001010101011101010111101", "eeee", ... ),
  ...
]

在元组格式中，它看起来像这样：

(Y, X, other_info, ... )

在一天结束时，我需要使用Y和X训练分类器（例如sklearn.linear_model.logistic.LogisticRegression）。

将1和0的字符串转换为np.array之类的最直接的方法是什么，以便我可以通过分类器运行它？似乎这里应该有一个简单的答案，但我还没有想到/ google one。

一些注意事项：

我已经在使用numpy / pandas / sklearn了，所以这些库中的任何东西都是合理的游戏。
对于我正在做的很多事情，在DataFrame中将other_info列放在一起很方便
字符串非常长（约20,000列），但总数据帧不是很高（约500行）。

Answer 1

由于您主要询问将一串1和0的字符串转换为numpy数组的方法，我将按如下方式提供我的解决方案：

d = '0101010000' * 2000 # create a 20,000 long string of 1s and 0s
d_array = np.fromstring(d, 'int8') - 48 # 48 is ascii 0. ascii 1 is 49

这在速度方面比较有利于@DSM's解决方案：

In [21]: timeit numpy.fromstring(d, dtype='int8') - 48
10000 loops, best of 3: 35.8 us per loop

In [22]: timeit numpy.fromiter(d, dtype='int', count=20000)
100 loops, best of 3: 8.57 ms per loop

Answer 2

这样的事情怎么样：

制作数据框：

In [82]: v = [
   ....:     (1, "000010101001010101011101010101110101", "aaa"),
   ....:     (0, "111101010100101010101110101010111010", "bb"),
   ....:     (0, "100010110100010101001010101011101010", "ccc"),
   ....:     (1, "000010101001010101011101010101110101", "ddd"),
   ....:     (1, "110100010101001010101011101010111101", "eeee"),
   ....:     ]

In [83]: 

In [83]: df = pandas.DataFrame(v)

我们可以使用fromiter或array来获取ndarray：

In [84]: d ="000010101001010101011101010101110101"

In [85]: np.fromiter(d, int) # better: np.fromiter(d, int, count=len(d))
Out[85]: 
array([0, 0, 0, 0, 1, 0, 1, 0, 1, 0, 0, 1, 0, 1, 0, 1, 0, 1, 0, 1, 1, 1, 0,
       1, 0, 1, 0, 1, 0, 1, 1, 1, 0, 1, 0, 1])

In [86]: np.array(list(d), int)
Out[86]: 
array([0, 0, 0, 0, 1, 0, 1, 0, 1, 0, 0, 1, 0, 1, 0, 1, 0, 1, 0, 1, 1, 1, 0,
       1, 0, 1, 0, 1, 0, 1, 1, 1, 0, 1, 0, 1])

可能有一种光滑的矢量化方式来执行此操作，但我只是将明显的每个条目函数应用于值并继续我的一天：

In [87]: df[1]
Out[87]: 
0    000010101001010101011101010101110101
1    111101010100101010101110101010111010
2    100010110100010101001010101011101010
3    000010101001010101011101010101110101
4    110100010101001010101011101010111101
Name: 1

In [88]: df[1] = df[1].apply(lambda x: np.fromiter(x, int)) # better with count=len(x)

In [89]: df
Out[89]: 
   0                                                  1     2
0  1  [0 0 0 0 1 0 1 0 1 0 0 1 0 1 0 1 0 1 0 1 1 1 0 1    aaa
1  0  [1 1 1 1 0 1 0 1 0 1 0 0 1 0 1 0 1 0 1 0 1 1 1 0     bb
2  0  [1 0 0 0 1 0 1 1 0 1 0 0 0 1 0 1 0 1 0 0 1 0 1 0    ccc
3  1  [0 0 0 0 1 0 1 0 1 0 0 1 0 1 0 1 0 1 0 1 1 1 0 1    ddd
4  1  [1 1 0 1 0 0 0 1 0 1 0 1 0 0 1 0 1 0 1 0 1 0 1 1   eeee

In [90]: df[1][0]
Out[90]: 
array([0, 0, 0, 0, 1, 0, 1, 0, 1, 0, 0, 1, 0, 1, 0, 1, 0, 1, 0, 1, 1, 1, 0,
       1, 0, 1, 0, 1, 0, 1, 1, 1, 0, 1, 0, 1])

numpy / pandas：如何将一系列0和1的字符串转换为矩阵

2 个答案: