Question

如何将（大端）可变大小的二进制字节数组转换为（无符号）整数/长？例如，'\x11\x34'，代表4404

现在，我正在使用

def bytes_to_int(bytes):
  return int(bytes.encode('hex'), 16)

哪个小而有些可读，但可能效率不高。是否有更好（更明显）的方式？

Answer 1

Python传统上并没有太多用于“大端C布局中的数字”，这对C来说太大了。（如果你要处理的是2字节，4字节或8字节的数字，那么struct.unpack就是答案。）

但是有足够的人厌倦了没有一种明显的方法可以做到这一点，Python 3.2添加了一个方法int.from_bytes，它完全符合你的要求：

int.from_bytes(b, byteorder='big', signed=False)

不幸的是，如果你使用的是旧版本的Python，那么你就没有。那么，你有什么选择？（除了显而易见的一个：更新到3.2，或者更好，3.4 ......）

首先，有你的代码。我认为binascii.hexlify比.encode('hex')更好地拼写它，因为对于字节字符串上的方法（与Unicode字符串相对），“encode”似乎总是有点奇怪，事实上在Python 3中放逐了。但除此之外，它对我来说似乎非常可读和明显。它应该非常快 - 是的，它必须创建一个中间字符串，但它在C中进行所有循环和算术（至少在CPython中），这通常比Python中快一个数量级或两个数量级。除非你的bytearray太大以至于分配字符串本身会很昂贵，否则我不会担心这里的性能。

或者，您可以循环执行此操作。但这会更加冗长，至少在CPython中，速度要慢得多。

您可以尝试消除隐式循环的显式循环，但显而易见的函数是reduce，它被社区的一部分视为非Pythonic - 当然它需要调用每个字节的函数。

您可以通过将循环或reduce分解为8个字节的块并循环struct.unpack_from，或者只是执行大struct.unpack('Q'*len(b)//8 + 'B' * len(b)%8)并循环覆盖它来展开循环或import binascii import functools import numpy as np def hexint(b): return int(binascii.hexlify(b), 16) def loop1(b): def f(x, y): return (x<<8)|y return functools.reduce(f, b, 0) def loop2(b): x = 0 for c in b: x <<= 8 x |= c return x def numpily(b): n = np.array(list(b)) p = 1 << np.arange(len(b)-1, -1, -1, dtype=object) return np.sum(n * p)，但这会使它的可读性差得多，而且可能没那么快。

你可以使用NumPy ...但是如果你要比64位或者128位更大，那么它最终会将所有内容转换为Python对象。

所以，我认为你的答案是最好的选择。

以下是将其与最明显的手动转换进行比较的一些时间：

In [226]: b = bytearray(range(256))

In [227]: %timeit hexint(b)
1000000 loops, best of 3: 1.8 µs per loop

In [228]: %timeit loop1(b)
10000 loops, best of 3: 57.7 µs per loop

In [229]: %timeit loop2(b)
10000 loops, best of 3: 46.4 µs per loop

In [283]: %timeit numpily(b)
10000 loops, best of 3: 88.5 µs per loop

In [17]: %timeit hexint(b)
1000000 loops, best of 3: 1.69 µs per loop

In [17]: %timeit int.from_bytes(b, byteorder='big', signed=False)
1000000 loops, best of 3: 1.42 µs per loop

在Python 3.4中进行比较：

{{1}}

所以，你的方法仍然很快......

Answer 2

功能struct.unpack(...)可以满足您的需求。

将可变大小的字节数组转换为整数/长整数

2 个答案: