Question

为什么输出到a时文件的大小上限为4 GB 文件使用打印？我希望通过流输出应该可以生成任意大小的文件。

更新：ijw和Chas. Owens是正确的。我认为F：驱动器是NTFS格式化的，但实际上它使用的是FAT32文件系统。一世尝试在另一个驱动器上，我可以生成一个20 GB的文本文件。在这种情况下没有限制。向所有人道歉。

详细信息：在此处研究回答问题时 Stack Overflow我需要测量它的性能使用Perl读取一个非常大的文本文件。为了测试阅读我需要一个大文本文件，我写了一个小文件 Perl脚本生成文本文件并遇到了意外的问题。输出文件增长直到达到4 GB。根据Windows资源管理器的大小在一次运行脚本是4294967269字节（和磁盘上的4294967296字节）。脚本继续，但文件不再增长。

必不可少的是：

print NUMBERS_OUTFILE $line;

其中$ line是一个长字符串，末尾带有“\ n”。该线路的长度可以配置，并不重要这个问题;例如250个字符或34000个字符。 NUMBERS_OUTFILE是使用以下函数创建的文件句柄：

open ( NUMBERS_OUTFILE,">F:\temp2\out1.txt")

驱动器F：是NTFS格式化的，并且位于单独的物理上带有操作系统的磁盘上的硬盘。

原因是什么，是否有解决方法？

完整Perl script和BAT driver script（HTML格式化为预标签）。如果两个环境变量MBSIZE和设置OUTFILE然后Perl脚本应该能够运行在除Windows之外的其他平台上没有变化。

平台：ActiveState的Perl 5.10.0; 32位;建立1004。 Windows XP x64 SP2,8 GB RAM，500 GB绿色鱼子酱硬盘。

perl -V说：

Summary of my perl5 (revision 5 version 10 subversion 0) configuration:
  Platform:
    osname=MSWin32, osvers=5.00, archname=MSWin32-x86-multi-thread
    uname=''
    config_args='undef'
    hint=recommended, useposix=true, d_sigaction=undef
    useithreads=define, usemultiplicity=define
    useperlio=define, d_sfio=undef, uselargefiles=define, usesocks=undef
    use64bitint=undef, use64bitall=undef, uselongdouble=undef
    usemymalloc=n, bincompat5005=undef
  Compiler:
    cc='cl', ccflags ='-nologo -GF -W3 -MD -Zi -DNDEBUG -O1 -DWIN32 -D_CONSOLE -DNO_ST
RICT -DHAVE_DES_FCRYPT -DUSE_SITECUSTOMIZE -DPRIVLIB_LAST_IN_INC -DPERL_IMPLICIT_CONTE
XT -DPERL_IMPLICIT_SYS -DUSE_PERLIO -DPERL_MSVCRT_READFIX',
    optimize='-MD -Zi -DNDEBUG -O1',
    cppflags='-DWIN32'
    ccversion='12.00.8804', gccversion='', gccosandvers=''
    intsize=4, longsize=4, ptrsize=4, doublesize=8, byteorder=1234
    d_longlong=undef, longlongsize=8, d_longdbl=define, longdblsize=10
    ivtype='long', ivsize=4, nvtype='double', nvsize=8, Off_t='__int64', lseeksize=8
    alignbytes=8, prototype=define
  Linker and Libraries:
    ld='link', ldflags ='-nologo -nodefaultlib -debug -opt:ref,icf  -libpath:"D:\Perl\
lib\CORE"  -machine:x86'
    libpth=\lib
    libs=  oldnames.lib kernel32.lib user32.lib gdi32.lib winspool.lib  comdlg32.lib a
dvapi32.lib shell32.lib ole32.lib oleaut32.lib  netapi32.lib uuid.lib ws2_32.lib mpr.l
ib winmm.lib  version.lib odbc32.lib odbccp32.lib msvcrt.lib
    perllibs=  oldnames.lib kernel32.lib user32.lib gdi32.lib winspool.lib  comdlg32.l
ib advapi32.lib shell32.lib ole32.lib oleaut32.lib  netapi32.lib uuid.lib ws2_32.lib m
pr.lib winmm.lib  version.lib odbc32.lib odbccp32.lib msvcrt.lib
    libc=msvcrt.lib, so=dll, useshrplib=true, libperl=perl510.lib
    gnulibc_version=''
  Dynamic Linking:
    dlsrc=dl_win32.xs, dlext=dll, d_dlsymun=undef, ccdlflags=' '
    cccdlflags=' ', lddlflags='-dll -nologo -nodefaultlib -debug -opt:ref,icf  -libpat
h:"D:\Perl\lib\CORE"  -machine:x86'


Characteristics of this binary (from libperl):
  Compile-time options: MULTIPLICITY PERL_DONT_CREATE_GVSV
                        PERL_IMPLICIT_CONTEXT PERL_IMPLICIT_SYS
                        PERL_MALLOC_WRAP PL_OP_SLAB_ALLOC USE_ITHREADS
                        USE_LARGE_FILES USE_PERLIO USE_SITECUSTOMIZE
  Locally applied patches:
        ActivePerl Build 1004 [287188]
        33741 avoids segfaults invoking S_raise_signal() (on Linux)
        33763 Win32 process ids can have more than 16 bits
        32809 Load 'loadable object' with non-default file extension
        32728 64-bit fix for Time::Local
  Built under MSWin32
  Compiled at Sep  3 2008 13:16:37
  @INC:
    D:/Perl/site/lib
    D:/Perl/lib
.

Answer 1

嗯，这很奇怪。至少在OS X和Linux上，限制是由文件系统强加的。也许Win32上的Activestate Perl不支持大文件支持？你可以发布运行perl -V的结果吗？

我们关心的输出部分是

Platform:
osname=MSWin32, osvers=5.00, archname=MSWin32-x86-multi-thread
uname=''
config_args='undef'
hint=recommended, useposix=true, d_sigaction=undef
useithreads=define, usemultiplicity=define
useperlio=define, d_sfio=undef, uselargefiles=define, usesocks=undef
use64bitint=undef, use64bitall=undef, uselongdouble=undef
usemymalloc=n, bincompat5005=undef

具体来说，uselargefiles=define。定义（即打开）此功能的事实意味着Perl将使用无符号的64位整数用于文件偏移。理论上，这可以使文件最多16艾字节（17,179,869,184千兆字节）;但是，文件系统限制通常会在达到该限制之前发挥作用。

Answer 2

我认为问题在于，由于文件位置指针的限制为4个字节，因此无法写入4 GB以后的文件位置。即使您正在使用流输出，因为Perl仍然需要跟踪文件位置。

我会尝试使用Win32API::File - 它允许通过在不同的字段中发送文件位置指针的高4字节来寻找大于4 GB的位置，并且应该使用{{1}写入输出文件。

Answer 3

这是我发现的一件事（link）：

配置时选项

INSTALL文档描述了几个配置时选项。一些这些将与Cygwin合作，其他人尚不可能。还有一些这些是实验性的。您可以在配置时选择一个选项提示您或您可以在命令行上定义（取消定义）符号。

...

-Duselargefiles

虽然Win32支持大文件，但Cygwin目前使用32位内部大小和位置计算的整数。

Answer 4

我想“32位”部分是问题...你可以在32位数字中代表的最大数字是4 GB（http://en.wikipedia.org/wiki/Integer_%28computer_science%29）

- 编辑 -

我实际上并没有提到文件系统限制，而是指Perl限制。因为它是在32位编译的，只能访问4 GB的raRAM。据我所知，NTFS的限制大约为8 GB，并使用某种窗口方法来读取这些文件。但这是另一个故事。

为什么我的Perl程序不能在Windows上创建超过4 GB的文件？

4 个答案:

配置时选项