Question

我想创建一个矩阵。

输入：

data = [
    {'a': 2, 'g': 1},
    {'p': 3, 'a': 5, 'cat': 4}
    ...
]

输出：

     a  p  cat  g
1st  2  0  0    1
2nd  5  3  4    0

这是我的代码。但是，当数据量巨大时，我认为它并不聪明且非常慢。

有什么好方法可以做到这一点吗？

谢谢。

data = [
    {'a': 2, 'g': 1},
    {'p': 3, 'a': 5, 'cat': 4}
]

### Get keyword map ###
key_map = set()
for row in data:
    key_map = key_map.union(set(row.keys()))

key_map = list(key_map)    # ['a', 'p', 'g', 'cat']

### Create matrix ###
result = []
for row in data:
    matrix = [0] * len(key_map)
    for k, v in row.iteritems():
        matrix[key_map.index(k)] = v
    result.append(matrix)

print result        

# [[2, 0, 0, 1], [5, 3, 4, 0]]

被修改

通过@wwii建议。使用 Pandas 看起来不错：

from pandas import DataFrame

result = DataFrame(data, index=range(len(data)))
print result.fillna(0, downcast=int).as_matrix().tolist()
# [[2, 0, 1, 0], [5, 4, 0, 3]]

Answer 1

您可以使用set comprehension生成key_map

key_map = list({data for row in data for data in row})

Answer 2

这是部分答案。我无法按照指定的顺序获取列 - 它受到密钥在集合key_map中的排序方式的限制。它使用字符串格式来对数据进行排列 - 您可以使用间距来适应更大或更小的数字。

# ordinal from
# http://code.activestate.com/recipes/576888-format-a-number-as-an-ordinal/
from ordinal import ordinal

data = [
    {'a': 2, 'g': 1},
    {'p': 3, 'a': 5, 'cat': 4}
]

### Get keyword map ###
key_map = set()
for row in data:
    key_map = key_map.union(set(row.keys()))

key_map = list(key_map)    # ['a', 'p', 'g', 'cat']

# strings to format the output
header = '{: >10}{: >8}{: >8}{: >8}'.format(*key_map)
line_fmt = '{: <8}{: >2}{: >8}{: >8}{: >8}'
print header

def ordered_data(d, keys):
    """Returns an ordered list of dictionary values.

    returns 0 if key not in d
    d --> dict
    keys --> list of keys
    returns list
    """
    return [d.get(key, 0) for key in keys]

for i, thing in enumerate(data):
    print line_fmt.format(ordinal(i+1), *ordered_data(thing, key_map))

<强>输出

         a       p       g     cat
1st      2       0       1       0
2nd      5       3       0       4

挖掘熊猫文档并查看其DataFrame可能是值得的 - 它可能会让生活更轻松。

Answer 3

我使用Pandas数据帧得到了第二个答案。但是，我的代码应该比你的代码简单。

In [1]: import pandas as pd

In [5]: data = [{'a': 2, 'g': 1},{'p': 3, 'a': 5, 'cat': 4}]

In [6]: df = pd.DataFrame(data)

In [7]: df
Out[7]: 
   a  cat   g   p
0  2  NaN   1 NaN
1  5    4 NaN   3

In [9]: df = df.fillna(0)

In [10]: df
Out[10]: 
   a  cat  g  p
0  2    0  1  0
1  5    4  0  3

我在iPython中编写了我的编码，我强烈推荐！

要保存到csv，只需使用额外的代码行：

df.to_csv('filename.csv')

Answer 4

我是python中的新手，只是希望可能有用的建议：）

key_map = []
for row in data:
    key_map.extend(row.keys())
key_map = list(set(key_map))

您可以将中间部分更改为此，这将节省您一些时间来查找key_map

在您的情况下，union至少会扫描每一行以查找不同的项目。

从动态字典创建矩阵

4 个答案: