在磁盘上分配文件而不进行归零

时间:2017-06-02 07:23:24

标签: c macos posix fcntl fallocate

我需要分配大文件而不将其归零。我正在制作具有巨大文件大小(数百千兆字节)的步骤fopen => ftruncate => fclose => mmap => (...work...) => munmap。当系统正在尝试将文件字节归零时,应用程序会在终止时挂起几分钟 - 由于ftruncate用法而导致恕我直言。

ftruncate(ofd, 0);

#ifdef HAVE_FALLOCATE

    int ret = fallocate(ofd, 0, 0, cache_size);
    if (ret == -1) {
        printf("Failed to expand file to size %llu (errno %d - %s).\n", cache_size, errno, strerror(errno));
        exit(-1);
    }

#elif defined(HAVE_POSIX_FALLOCATE)

    int ret = posix_fallocate(ofd, 0, cache_size);
    if (ret == -1) {
        printf("Failed to expand file to size %llu (errno %d - %s).\n", cache_size, errno, strerror(errno));
        exit(-1);
    }

#elif defined(__APPLE__)

    fstore_t store = {F_ALLOCATECONTIG, F_PEOFPOSMODE, 0, cache_size, 0};
    int ret = fcntl(ofd, F_PREALLOCATE, &store);
    if (ret == -1) {
        store.fst_flags = F_ALLOCATEALL;
        ret = fcntl(ofd, F_PREALLOCATE, &store);
    }
    if (ret == -1) { // read fcntl docs - must test against -1
        printf("Failed to expand file to size %llu (errno %d - %s).\n", cache_size, errno, strerror(errno));
        exit(-1);
    }
    struct stat sb;
    ret = fstat(ofd, &sb);
    if (ret != 0) {
        printf("Failed to write to file to establish the size.\n");
        exit(-1);
    }
    //ftruncate(ofd, cache_size); <-- [1]

#endif

它似乎不适用于注释行[1]。但取消注释这一行会产生文件清零,我试图避免这种情况。在写作之前,我真的不在乎脏文件内容。我只是想避免挂在应用终止上。

SOLUTION:

根据@torfo&#39; answer,用以下几行替换了所有与Apple相关的代码:

unsigned long long result_size = cache_size;
int ret = fcntl(ofd, F_SETSIZE, &result_size);
if(ret == -1) {
    printf("Failed set size %llu (errno %d - %s).\n", cache_size, errno, strerror(errno));
    exit(-1);
}

但只适用于超级用户!

1 个答案:

答案 0 :(得分:5)

这显然是MacOS X.

您可以尝试用

替换ftruncate来电
fcntl(ofd, F_SETSIZE, &size);

(注意需要root权限并可能会创建一个安全漏洞,因为它可能提供对以前存在的旧文件内容的访问权限,因此必须非常谨慎地处理。&#34;脏文件内容&#34;你不要&#34; 39;关心可能实际上是他一周前删除的用户的银行帐户密码...)

MacOS X并不真正支持稀疏文件 - 它确实创建并维护它们,但它的文件系统驱动程序非常渴望尽快填补漏洞。