Question

我正在处理天文数据，我需要帮助总结它。

我的数据包含~10,000行，其中每行代表一个系统。

输入文件的制表符分隔如下： exo sys_planet_count

请注意，exo planet count通常为0或1，但不是Always。

每一行代表一个系统，有两列，一列用于在该系统中找到的exo_planets，另一列用于找到的行星总数。

我需要通过增加sys_planet_count：

来总结这样的数据

system_planet_count exo system_hits system_misses

5 3500 3000 1000
6 4500 4000 1500

exo行星的数量必须大于或等于system_hits ，因为每个系统可能只有一个exo行星或几个，这取决于。

system_planet_count是表的组织方式。

对于与特定system_planet_count匹配的每一行（系统），它会添加找到的exos数。如果找到exos，它会向system_hits类别添加+1，因为该行找到了exo行星，一个命中。如果在该行中找不到exos，则会在system_misses类别中添加一个exo，因为行星中没有行。

请注意，system_misses和system_hits类别特定于该system_planet计数，即system_planet_count为5时为3000和1000，但system_planet_count为6时为4000和1500

问题是数据没有按sys_planet_counts的升序排序。

为了总结数据，我想出了以下代码。我该怎么做以快速的方式总结数据，不需要10或15分钟？

我正在考虑使用字典，因为每个system_planet_count都可以作为密钥

while open('data.txt','r') as input:
    for line in input:
        system_planet_count = 0
        exo_count = 0
        system_hits = 0
        system_misses = 0

        foo
    output.write(str(system_planet_count) + '\t' + str(exo_count) + '\t' + str(system_hits) + '\t' + str(system_misses) + '\')

输入示例：

exo sys_planet_count

输出：

system_planet_count exo system_hits system_misses

 1 3 2 1
 4 0 0 1
 5 3 2 4

Answer 1

这应该做你想要的摘要：

from collections import defaultdict

def summarize(file_name):
    exo, hit, miss = 0, 1, 2  # indexes of according counts
    d = defaultdict(lambda: [0, 0, 0])  # keep all counts for each type of system
    with open(file_name, 'r') as input:
        for line in input:
            exos, planets = map(int, line.strip().split())  # split, cast to int
            if exos:
                d[planets][exo] += exos
                d[planets][hit] += 1
            else:
                d[planets][miss] += 1

    for key in sorted(d.keys()):
        print('{} {} {} {}'.format(key, d[key][exo], d[key][hit], d[key][miss]))

summarize('data.txt')

如何计算Python中超过10,000行的文件中每个系统的系外行星？

1 个答案: