Question

有没有办法在Python中分析多线程程序的内存？

对于CPU分析，我使用cProfile为每个线程创建单独的分析器统计信息，然后将它们组合起来。但是，我找不到使用内存分析器执行此操作的方法。我正在使用heapy。

有没有办法像cProfile那样在堆中合并统计数据？或者你会建议哪些内存分析器更适合这项任务。

要求在多线程程序中分析CPU使用情况的相关问题：How can I profile a multithread program in Python?

关于内存分析器的另一个问题：Python memory profiler

Answer 1

如果您乐于分析对象而不是原始内存，则可以使用gc.get_objects()函数，因此您不需要自定义元类。在最近的Python版本中，sys.getsizeof()还可以帮助您了解这些对象使用了多少底层内存。

Answer 2

有很多方法可以让valgrind分析python程序的内存：http://www.python.org/dev/faq/#can-i-run-valgrind-against-python

Answer 3

确定。我正在寻找的东西似乎并不存在。所以，我找到了一个解决方案 - 解决这个问题。

我会分析对象，而不是分析内存。这样，我将能够看到程序中特定时间存在多少个对象。为了实现我的目标，我使用了元类，对现有代码进行了少量修改。

以下元类为类的__init__和__del__函数添加了一个非常简单的子例程。 __init__的子例程将该类名称的对象数量增加一个，__del__减少一个。

class ObjectProfilerMeta(type):
    #Just set metaclass of a class to ObjectProfilerMeta to profile object
    def __new__(cls, name, bases, attrs):
        if name.startswith('None'):
            return None

        if "__init__" in attrs:
            attrs["__init__"]=incAndCall(name,attrs["__init__"])
        else:
            attrs["__init__"]=incAndCall(name,dummyFunction)

        if "__del__" in attrs:
            attrs["__del__"]=decAndCall(name,attrs["__del__"])
        else:
            attrs["__del__"]=decAndCall(name,dummyFunction)

        return super(ObjectProfilerMeta, cls).__new__(cls, name, bases, attrs)

    def __init__(self, name, bases, attrs):
        super(ObjectProfilerMeta, self).__init__(name, bases, attrs)


    def __add__(self, other):
        class AutoClass(self, other):
            pass
        return AutoClass

incAndCall和decAndCall函数使用它们存在的模块的use global变量。

counter={}
def incAndCall(name,func):
    if name not in counter:
        counter[name]=0

    def f(*args,**kwargs):
        counter[name]+=1
        func(*args,**kwargs)

    return f

def decAndCall(name,func):
    if name not in counter:
        counter[name]=0

    def f(*args,**kwargs):
        counter[name]-=1
        func(*args,**kwargs)

    return f

def dummyFunction(*args,**kwargs):
    pass

dummyFunction只是一个非常简单的解决方法。我相信有更好的方法可以做到。

最后，每当您想要查看存在的对象数量时，您只需要查看计数器字典。一个例子;

>>> class A:
    __metaclass__=ObjectProfilerMeta
    def __init__(self):
        pass


>>> class B:
    __metaclass__=ObjectProfilerMeta


>>> l=[]
>>> for i in range(117):
    l.append(A())


>>> for i in range(18):
    l.append(B())


>>> counter
{'A': 117, 'B': 18}
>>> l.pop(15)
<__main__.A object at 0x01210CB0>
>>> counter
{'A': 116, 'B': 18}
>>> l=[]
>>> counter
{'A': 0, 'B': 0}

我希望这会对你有所帮助。这对我的案子来说已经足够了。

Answer 4

我使用了Yappi，我已经成功使用了一些特殊的多线程案例。它有很棒的文档，所以你不应该在设置它时遇到太多麻烦。

对于特定于内存的分析，请查看Heapy。请注意，它可能会创建一些您见过的最大的日志文件！

如何在Python中分析多线程程序的内存？

4 个答案: