Question

我正在使用包含数千行的数据但是我的列不均匀，如下所示：

AB  12   43   54

DM  33   41   45   56   33   77  88

MO  88   55   66   32   34 

KL  10   90   87   47   23  48  56  12

首先，我想读取列表或数组中的数据，然后找出最长行的长度然后，我将为短行添加零以使它们等于最长的行，以便我可以将它们作为2D数组迭代。

我尝试了其他几个类似的问题，但无法解决问题。

我相信Python有一种方法可以做到这一点。有人可以帮帮我吗？

Answer 1

我没有看到任何更简单的方法来确定最大行长度但是要做一次通过并找到它。然后，我们在第二遍中构建2D数组。类似的东西：

from __future__ import print_function
import numpy as np
from itertools import chain

data = '''AB 12 43 54
DM 33 41 45 56 33 77 88
MO 88 55 66 32 34
KL 10 90 87 47 23 48 56 12'''

max_row_len = max(len(line.split()) for line in data.splitlines())

def padded_lines():
    for uneven_line in data.splitlines():
        line = uneven_line.split()
        line += ['0']*(max_row_len - len(line))
        yield line

# I will get back to the line below shortly, it unnecessarily creates the array
# twice in memory:
array = np.array(list(chain.from_iterable(padded_lines())), np.dtype(object))

array.shape = (-1, max_row_len)

print(array)

打印：

[['AB' '12' '43' '54' '0' '0' '0' '0' '0']
 ['DM' '33' '41' '45' '56' '33' '77' '88' '0']
 ['MO' '88' '55' '66' '32' '34' '0' '0' '0']
 ['KL' '10' '90' '87' '47' '23' '48' '56' '12']]

上面的代码在内存中创建两次数组的意义上是低效的。我会回到它;我想我可以解决这个问题。

然而， numpy数组应该是同质的。您希望将字符串（第一列）和整数（所有其他列）放在同一个2D数组中。 我仍然认为你在错误的轨道上，应该重新考虑问题并选择另一种数据结构或以不同方式组织数据。我无法帮助你，因为我不知道你想如何使用数据。

（我将很快回到两次创建的数组。）

正如所承诺的，这是效率问题的解决方案。请注意，我的担忧是关于内存消耗。

    def main():

        with open('/tmp/input.txt') as f:
            max_row_len = max(len(line.split()) for line in f)

        with open('/tmp/input.txt') as f:
            str_len_max = len(max(chain.from_iterable(line.split() for line in f), key=len))

        def padded_lines():
            with open('/tmp/input.txt') as f:
                for uneven_line in f:
                    line = uneven_line.split()
                    line += ['0']*(max_row_len - len(line))
                    yield line

        fmt = '|S%d' % str_len_max
        array = np.fromiter(chain.from_iterable(padded_lines()), np.dtype(fmt))

这段代码可以更好，但我会把它留给你。

使用memory_profiler在随机生成的输入文件上以1000000行和均匀分布的行长度在1到20之间测量的内存消耗：

Line #    Mem usage    Increment   Line Contents
================================================
     5   23.727 MiB    0.000 MiB   @profile
     6                             def main():
     7                                 
     8   23.727 MiB    0.000 MiB       with open('/tmp/input.txt') as f:
     9   23.727 MiB    0.000 MiB           max_row_len = max(len(line.split()) for line in f)
    10                                     
    11   23.727 MiB    0.000 MiB       with open('/tmp/input.txt') as f:
    12   23.727 MiB    0.000 MiB           str_len_max = len(max(chain.from_iterable(line.split() for line in f), key=len))
    13                                 
    14   23.727 MiB    0.000 MiB       def padded_lines():
    15                                     with open('/tmp/input.txt') as f:
    16   62.000 MiB   38.273 MiB               for uneven_line in f:
    17                                             line = uneven_line.split()
    18                                             line += ['0']*(max_row_len - len(line))
    19                                             yield line
    20                                 
    21   23.727 MiB  -38.273 MiB       fmt = '|S%d' % str_len_max
    22                                 array = np.fromiter(chain.from_iterable(padded_lines()), np.dtype(fmt))
    23   62.004 MiB   38.277 MiB       array.shape = (-1, max_row_len)

使用代码eumiro的答案，并使用相同的输入文件：

Line #    Mem usage    Increment   Line Contents
================================================
     5   23.719 MiB    0.000 MiB   @profile
     6                             def main():
     7   23.719 MiB    0.000 MiB       with open('/tmp/input.txt') as f:
     8  638.207 MiB  614.488 MiB           arr = np.array(list(it.izip_longest(*[line.split() for line in f], fillvalue='0'))).T

比较内存消耗增量：我的更新代码比eumiro消耗的内存少16倍（614.488 / 38.273约为16）。

至于速度：我的更新代码针对3.321s的此输入运行，eumiro的代码运行5.687s，即我的机器上的快了1.7倍。（您的里程可能会有所不同。）

如果效率是您的主要关注点（正如您的评论所示＆＃34;嗨eumiro，我认为这更有效。＆＃34; 然后更改已接受的答案），然后我我担心你接受效率较低的解决方案。

不要弄错，eumiro的代码非常简洁，我当然从中学到了很多东西。如果效率不是我主要考虑的问题，我会选择eumiro的解决方案。

Answer 2

您可以使用itertools.izip_longest为您找到最长行的发现：

import itertools as it
import numpy as np

with open('filename.txt') as f:
    arr = np.array(list(it.izip_longest(*[line.split() for line in f], fillvalue='0'))).T

arr现在是：

array([['a', '1', '2', '0'],
       ['b', '3', '4', '5'],
       ['c', '6', '0', '0']], 
      dtype='|S1')

Python - 使用行中不均匀的列

2 个答案: