Question

我有一个包含各种Region映射变量的数据集（大约1000个）。示例数据如下所示：

Userid   regionmap1 regionmap2 regionmap3      and so on.
 78       7           na         na
 45       na          na         na
 67       1           na         na

此处，regionmap变量中的数字表示视图的数量。现在我有一个只有10个区域映射条目的外部文件。该文件包含10个条目/行，包含10个不同的区域映射变量：

Regionmap1
Regionmap3
Regionmap7
.....
.....
Regionmap856.

所以我的任务是只将这些regionmap变量保留为原始文件中的列，并删除所有其他990列。因此，最终数据应如下所示：

Userid  Regionmap1 regionmap3 regionmap7   ........    regionmap856
78       7          na          na                       na
45       na         na          na                       na
67       1          na          na                       na

如果有人能在Python中为我提供这方面的帮助，那就太好了。

Answer 1

这很容易做到。你有什么尝试？

这是帮助您入门的一般程序： 1 - 打开您要保留的区域地图的较小文件，并将其重新排列到列表中。 2 - 打开较大的文件并创建列表字典以包含数据。您可以将dict的键视为基本列标题。值是表示所有记录的列值的列表。 3 - 现在，从你的dict中删除kvps，其中密钥不在步骤1的列表中，或者不是userid。 4 - 使用生成的dict写出新文件。

绝对不是唯一的方法，但它是一个简单的方法，你应该能够开始。希望有所帮助：）

Answer 2

我有适合您问题的解决方案。您可以执行以使文件看起来更好。

import StringIO
import numpy as np

# Preparing an object that simulates a file (f is the file)
f = StringIO.StringIO()
f.write("""Userid   regionmap1 regionmap2 regionmap3
  78       7           na         na
  45       na          na         na
  67       1           na         na""")
f.seek(0)

# Reading file and getting the header (1st line)
head = f.readline().strip("\n").split()
data = []
for a in f:
    data.append([float(e) for e in a.replace('na', 'NaN').split()])
#
data = np.array(data)

# Columns to keep
s = ("Regionmap1", "Regionmap3")
s = map(lambda e: e.lower(), s)
s = ["Userid",] + s

# Index of the columns to keep
idx, = np.where([e in s for e in head])

# Saving the new data in a file (simulated with StringIO)
ff = StringIO.StringIO()
ff.write(' '.join(tuple(s)) + '\n')
np.savetxt(ff, data[:, idx])

渲染文件如下所示：

Userid regionmap1 regionmap3
7.800000000000000000e+01 7.000000000000000000e+00 nan
4.500000000000000000e+01 nan nan
6.700000000000000000e+01 1.000000000000000000e+00 nan

Answer 3

尝试dis！ Dis代码用于形成字典，其中标题为键，列值列为值

    f = open('2.txt', 'r') #opening the large file
    data = f.readlines()
    f.close()

    hdrs = data[0].split('\t') #assuming that large file is tab separated, and the first line is header line
    data_dict = {} #main data
    for each_line in data[1:]: #starting from second line as the first line is header line
        splitdata = each_line.split('\t') #splitting the line with tab
        for i, d in enumerate(splitdata): 
            tmpval = data_dict.get(hdrs[i], []) 
            tmpval.append(d)
            data_dict[hdrs[i]] = tmpval        #appending the column value for its respective header

    for k, v in data_dict.items(): #printing the final data dict
         print k, v

在python中根据外部列表/数据选择列

3 个答案: