如何处理二进制文件格式的可移植性问题

时间:2015-06-24 20:18:32

标签: c linux file format

我正在设计二进制文件格式来存储字符串[不终止null以节省空间]和二进制数据。

我。处理小/大端系统的最佳方法是什么? i.a是否会将所有内容转换为网络字节顺序并返回ntohl()/ htonl()?

II。打包的结构在x86,x64和arm上的大小是否相同?

III。这种方法有其固有的弱点吗?

struct __attribute__((packed)) Header {
    uint8_t magic;
    uint8_t flags;
};

struct __attribute__((packed)) Record {
    uint64_t length;
    uint32_t crc;
    uint16_t year;
    uint8_t day;
    uint8_t month;
    uint8_t hour;
    uint8_t minute;
    uint8_t second;
    uint8_t type;
};

测试人员代码我使用开发格式:

#include <stdlib.h>
#include <unistd.h>
#include <stdio.h>
#include <limits.h>
#include <strings.h>
#include <stdint.h>
#include <sys/stat.h>
#include <fcntl.h>
#include <string.h>

struct __attribute__((packed)) Header {
    uint8_t magic;
    uint8_t flags;
};

struct __attribute__((packed)) Record {
    uint64_t length;
    uint32_t crc;
    uint16_t year;
    uint8_t day;
    uint8_t month;
    uint8_t hour;
    uint8_t minute;
    uint8_t second;
    uint8_t type;
};

    int main(void)
    {

        int fd = open("test.dat", O_RDWR|O_APPEND|O_CREAT, 444);
        struct Header header = {1, 0};
        write(fd, &header, sizeof(header));
        char msg[] = {"BINARY"};
        struct Record record = {strlen(msg), 0, 0, 0, 0, 0, 0, 0};
        write(fd, &record, sizeof(record));
        write(fd, msg, record.length);
        close(fd);
        fd = open("test.dat", O_RDWR|O_APPEND|O_CREAT, 444);


        read(fd, &header, sizeof(struct Header));
        read(fd, &record, sizeof(struct Record));
        int len = record.length;
        char c;
        while (len != 0) {
            read(fd, &c, 1);
            len--;
            printf("%c", c);
        }
        close(fd);
    }

1 个答案:

答案 0 :(得分:7)

我。将文件定义为一个顺序并转换为&#34; internal&#34;如果有必要的话,在我看来,阅读/写作(也许是用ntohl等)是最好的方法。

II。我不相信包装结构。他们可能会为这些平台使用这种方法,但是没有保证。

III。使用fread和fwrite在整个结构上读取和写入二进制文件(在我看来)是一种固有的弱方法。您可以最大限度地减少字大小问题,填充和对齐问题以及字节顺序问题。

我喜欢写的是像get16()和put32()这样的小函数,它们一次读写一个字节,因此对字大小和字节顺序的困难本身就不敏感。然后我根据这些来编写简单的putHeader和getRecord函数(等等)。

unsigned int get16(FILE *fp)
{
    unsigned int r;
    r = getc(fp);
    r = (r << 8) | getc(fp);
    return r;
}

void put32(unsigned long int x, FILE *fp)
{
    putc((int)((x >> 24) & 0xff), fp);
    putc((int)((x >> 16) & 0xff), fp);
    putc((int)((x >> 8) & 0xff), fp);
    putc((int)(x & 0xff), fp);
}

[P.S。正如@Olaf在其中一条评论中正确指出的那样,在生产代码中,您需要处理EOF和这些函数中的错误。为了简单起见,我把它们留了下来。]