这个字节串实际占用了多少内存?

时间:2017-06-05 01:34:50

标签: python python-3.x memory encoding base64

我的理解是os.urandom(size)输出给定" size"的随机字节串,但随后:

#include <stdio.h>
#include <stdlib.h>

int random(int min, int max)
{
    return rand() % (max + 1 - min) + min;
}

int quickselect(int *a, int l, int k)
{
    int piv = *(a+random(0, l));

    int *less = malloc(sizeof(int)*l), *great = malloc(sizeof(int)*l); //allocate to the max possible size
    int l_len = 0, g_len = 0;

    for (int i = 0; i <= l; i++)
        if (*(a+i) < piv) 
            *(less+l_len++) = a[i]; //set "array indice" (dereferneced pointer) and increment array len
        else if (*(a+i) > piv)
            *(great+g_len++) = a[i];

    less = realloc(less, sizeof(int)*l_len); //re-allocate appropiate to the proper size
    great = realloc(great, sizeof(int)*g_len);

    if (k <= l_len)
        return quickselect(less, l_len, k);
    else if (k > l - g_len)
        return quickselect(great, g_len, k - (l - g_len));
    else
        return piv;
}

int main()
{
    int a[] = {5,2,6,3,7,1,0};
    printf("%d", quickselect(a, sizeof(a)/sizeof(*a), 1));
    return 0;
}

为什么这不是42?

还有一个相关问题:

import os
import sys

print(sys.getsizeof(os.urandom(42)))

>>>
75

为什么这些如此不同?哪种编码是存储字符串的最有效内存的方法,例如os.urandom给出的字节?

编辑:说这个问题是What is the difference between len() and sys.getsizeof() methods in python?的重复似乎很容易。我的问题不在于len()和getsizeof()之间的区别。我对Python对象使用的内存感到困惑,这个问题的答案已经为我澄清了。

1 个答案:

答案 0 :(得分:4)

Python字节字符串对象不仅仅是构成它们的字符。它们是完全成熟的物体。因此,它们需要更多空间来容纳对象的组件,例如类型指针(需要识别字节串甚至是什么类型的对象)和长度(效率所需,因为Python字节串可以包含空字节)。

最简单的对象,object实例,需要空格:

>>> sys.getsizeof(object())
16

问题的第二部分仅仅是因为b64encode()hexlify()生成的字符串长度不同;后者长28个字符,不出所料,这是sys.getsizeof()报告的值的差异。

>>> s1 = base64.b64encode(os.urandom(42))
>>> s1
b'CtlMjDM9q7zp+pGogQci8gr0igJsyZVjSP4oWmMj2A8diawJctV/8sTa'
>>> s2 = binascii.hexlify(os.urandom(42))
>>> s2
b'c82d35f717507d6f5ffc5eda1ee1bfd50a62689c08ba12055a5c39f95b93292ddf4544751fbc79564345'

>>> len(s2) - len(s1)
28
>>> sys.getsizeof(s2) - sys.getsizeof(s1)
28

除非你使用某种形式的压缩,否则没有比你已经拥有的二进制字符串更有效的编码,在这种情况下尤其如此,因为数据是 random 本质上是不可压缩的。