Question

我正在运行一直对我有用的代码。这次我在2个.csv文件上运行它：＆＃34;数据＆＃34; （24 MB）和＆＃34; data1＆＃34; （475 MB）。＆＃34;数据＆＃34;有3列，每列约680000个元素，而＆＃34; data1＆＃34;有3列，每列33000000个元素。当我运行代码时，我得到的只是＆＃34; Killed：9＆＃34;经过约5分钟的处理。如果这是一个内存问题，如何解决呢？欢迎任何建议！

这是代码：

import csv
import numpy as np

from collections import OrderedDict # to save keys order

from numpy import genfromtxt
my_data = genfromtxt('data.csv', dtype='S', 
                 delimiter=',', skip_header=1) 
my_data1 = genfromtxt('data1.csv', dtype='S', 
                 delimiter=',', skip_header=1) 

d= OrderedDict((rows[2],rows[1]) for rows in my_data)
d1= dict((rows[0],rows[1]) for rows in my_data1) 

dset = set(d) # returns keys
d1set = set(d1)

d_match = dset.intersection(d1) # returns matched keys

import sys  
sys.stdout = open("rs_pos_ref_alt.csv", "w") 

for row in my_data:
    if row[2] in d_match: 
        print [row[1], row[2]]

＆＃34;数据＆＃34;的标题是：

    dbSNP RS ID Physical Position
0   rs4147951   66943738
1   rs2022235   14326088
2   rs6425720   31709555
3   rs12997193  106584554
4   rs9933410   82323721
5   rs7142489   35532970

＆＃34; data1＆＃34;的标题是：

    V2  V4  V5
10468   TC  T
10491   CC  C
10518   TG  T
10532   AG  A
10582   TG  T

Answer 1

很可能内核会杀死它，因为你的脚本占用了太多的内存。您需要采取不同的方法，并尝试最小化内存中的数据大小。

您可能还会发现此问题很有用：Very large matrices using Python and NumPy

在下面的代码片段中，我尝试通过逐行处理来避免将巨大的data1.csv加载到内存中。试一试。

import csv

from collections import OrderedDict # to save keys order

with open('data.csv', 'rb') as csvfile:
    reader = csv.reader(csvfile, delimiter=',')
    next(reader) #skip header
    d = OrderedDict((rows[2], {"val": rows[1], "flag": False}) for rows in reader)

with open('data1.csv', 'rb') as csvfile:
    reader = csv.reader(csvfile, delimiter=',')
    next(reader) #skip header
    for rows in reader:
        if rows[0] in d:
            d[rows[0]]["flag"] = True

import sys
sys.stdout = open("rs_pos_ref_alt.csv", "w")

for k, v in d.iteritems():
    if v["flag"]:
        print [v["val"], k]

Answer 2

首先，创建一个python脚本并运行以下代码以查找所有Python进程。

import subprocess

wmic_cmd = """wmic process where "name='python.exe' or name='pythonw.exe'" get commandline,processid"""
wmic_prc = subprocess.Popen(wmic_cmd, stdout=subprocess.PIPE, stderr=subprocess.PIPE, shell=True)
wmic_out, wmic_err = wmic_prc.communicate()
pythons = [item.rsplit(None, 1) for item in wmic_out.splitlines() if item][1:]
pythons = [[cmdline, int(pid)] for [cmdline, pid] in pythons]
for line in pythons:
    cv = str(line).split('\\')
    cb=str(cv).strip('"')
    fin = cv[-1]
    if fin[0:11] != 'pythonw.exe':
        print 'pythonw.exe', fin
    if fin[0:11] != 'python.exe':
        print "'python.exe'", fin

运行后，粘贴输出，在问题部分，我将看到通知。

*编辑

列出所有流程并将其发布到您的答案中，使用以下内容：

import psutil
for process in psutil.process_iter():
    print process

Answer 3

您的计算机有多少内存？

您可以添加一些可以节省一些内存的优化，如果这还不够，您可以权衡一些CPU和IO，以提高内存效率。

如果您只是比较键并且没有对值进行任何操作，则只能提取键：

d1 = set([rows[0] for rows in my_data1])

然后，您可以尝试使用此答案中的有序集 - Does python has ordered set或使用ordered-set而不是OrderedDict 来自pypi的模块。

获得所有相交键后，您可以编写另一个程序，查找源csv中的所有匹配值。

如果这些优化不够，您可以从较大的集合中提取所有密钥，将它们保存到文件中，然后使用generators从文件中逐个加载密钥，这样您将使用的程序只保留一组键加一个键而不是两个键。

另外，我建议使用python pickle模块来存储中间结果。

Answer 4

在我的例子中，有一个叫做 syspolicy 的进程（消耗 90% CPU）或类似的东西，一旦我杀死了那个进程，运行我的命令 python3 不再返回被杀死的 9。

Python Killed：9使用从2个csv文件创建的词典运行代码

4 个答案: