在python中读取二进制数据

时间:2017-02-21 11:18:16

标签: python file binary

首先,在此问题被标记为重复之前,我意识到其他人已经提出类似的问题,但似乎并不是一个明确的解释。我试图将二进制文件读入2D数组(在此处记录http://nsidc.org/data/docs/daac/nsidc0051_gsfc_seaice.gd.html)。

标头是一个300字节的数组。

到目前为止,我有;

import struct

with open("nt_197912_n07_v1.1_n.bin",mode='rb') as file:
    filecontent = file.read()

x = struct.unpack("iiii",filecontent[:300])

引发字符串参数长度的错误。

1 个答案:

答案 0 :(得分:5)

阅读数据(简答)

从标题中确定网格的大小(n_rows x n_cols = 448x304)之后(见下文),您只需使用numpy.frombuffer读取数据。

import numpy as np

#...

#Get data from Numpy buffer
dt = np.dtype(('>u1', (n_rows, n_cols)))
x = np.frombuffer(filecontent[300:], dt) #we know the data starts from idx 300 onwards

#Remove unnecessary dimension that numpy gave us
x = x[0,:,:]

'>u1'指定数据的格式,在本例中为无符号大小为1字节的整数,即big-endian格式。

使用matplotlib.pyplot

绘制此图
import matplotlib.pyplot as plt

#...

plt.imshow(x, extent=[0,3,-3,3], aspect="auto")
plt.show()

extent=选项只是指定轴值,您可以将它们更改为lat / lon(例如从标题中解析)

Output

.unpack()

中的错误说明

来自docs for struct.unpack(fmt, string)

  

字符串必须包含格式所需的数据量(len(string)必须等于calcsize(fmt)

您可以通过查看Format Characters部分来确定格式字符串(fmt)中指定的尺寸。

fmt中的struct.unpack("iiii",filecontent[:300])指定了4种int类型(为简单起见,您也可以使用4i = iiii),每种类型的大小为4,需要一个字符串长度为16。

你的字符串(filecontent[:300])长度为300,而你的fmt要求长度为16的字符串,因此错误。

.unpack()

的使用示例

例如,读取提供的文档我提取了前21 * 6个字节,格式为:

  

一个21字节的6字节字符串数组,包含极坐标立体网格特征等信息

使用:

x = struct.unpack("6s"*21, filecontent[:126])

返回21个元素的元组。请注意某些元素中的空白填充符合6字节要求。

>> print x
    # ('00255\x00', '  304\x00', '  448\x00', '1.799\x00', '39.43\x00', '45.00\x00', '558.4\x00', '154.0\x00', '234.0\x00', '
    # SMMR\x00', '07 cn\x00', '  336\x00', ' 0000\x00', ' 0034\x00', '  364\x00', ' 0000\x00', ' 0046\x00', ' 1979\x00', '  33
    # 6\x00', '  000\x00', '00250\x00')

注意:

  • 第一个参数fmt"6s"*21是一个重复21 6s的字符串 倍。每个格式字符6s代表一个6字节的字符串 (见下文),这将符合您指定的所需格式 文档。
  • 126中的filecontent[:126]次数计算为6*21 = 126
  • 请注意,对于s(字符串)说明符,前面的数字表示 不意味着重复格式字符6次(就像它一样 通常用于其他格式字符)。相反,它指定大小 的字符串。 s表示1字节的字符串,而6s表示 一个6字节的字符串。

更广泛的标题阅读解决方案(长期)

因为必须手动指定二进制数据,所以在源代码中这可能很繁琐。您可以考虑使用某些配置文件(如.ini文件)

此函数将读取标题并将其存储在字典中,其中结构由.ini文件提供

# user configparser for Python 3x
import ConfigParser

def read_header(data, config_file):
    """
    Read binary data specified by a INI file which specifies the structure
    """

    with open(config_file) as fd:

        #Init the config class
        conf = ConfigParser.ConfigParser()
        conf.readfp(fd)

        #preallocate dictionary to store data
        header = {}

        #Iterate over the key-value pairs under the
        #'Structure' section
        for key in conf.options('structure'):

            #determine the string properties
            start_idx, end_idx = [int(x) for x in conf.get('structure', key).split(',')]
            start_idx -= 1 #remember python is zero indexed!
            strLength = end_idx - start_idx

            #Get the data
            header[key] = struct.unpack("%is" % strLength, data[start_idx:end_idx])

            #Format the data
            header[key] = [x.strip() for x in header[key]]
            header[key] = [x.replace('\x00', '') for x in header[key]]

        #Unmap from list-type
        #use .items() for Python 3x
        header = {k:v[0] for k, v in header.iteritems()}

    return header

下面的示例.ini文件。键是存储数据时使用的名称,值是逗号分隔的值对,第一个是起始索引,第二个是结束索引。 这些值来自您文档中的表1.

[structure]
missing_data: 1, 6
n_cols: 7, 12
n_rows: 13, 18
latitude_enclosed: 25, 30

此功能可以按如下方式使用:

header = read_header(filecontent, 'headerStructure.ini')
n_cols = int(header['n_cols'])