Python：读取带有方括号/长路径名的文件名时出现问题

时间：2019-07-15 06:21:58

标签： python windows pandas spyder shutil

我正在尝试用熊猫读取Excel文件。

df=pd.read_excel('abcd (xyz-9) Interim Report 01-03-18.xlsx')

这给了我文件找不到错误。如果我删除方括号并将文件重命名为'abcd Interim Report 01-03-18.xlsx'，则可以正常工作。

我尝试使用Shutil重命名，但这给了我同样的错误

shutil.copyfile('abcd (xyz-9) Interim Report 01-03-18.xlsx','test.xlsx')

我尝试了

1. pd.read_excel('abcd ^(xyz-9) Interim Report 01-03-18.xlsx')
2. pd.read_excel('abcd \\(xyz-9\\) Interim Report 01-03-18.xlsx')

编辑：

即使我将cwd更改为文件位置，该文​​件似乎也可以在本地驱动器上工作，但不能在网络驱动器上工作。

使用glob和os.path.exists时：

for i in range(0,1):
    for filename in glob.glob(fpath+"\\"+ldir[i]+"\\"+"*Interim*.xlsx"):
        print(filename)
        print(os.path.exists(filename))

\\Africa-me.xxx.com\Africa-me\xxx\xxx\xxx\xxx\06 xxx\02 xxx, xxx and xxxx xxx\03 xxx\04 xxx\05 xx xx & xx\12 2018 xx\06 xx xxx\\\AAA-61\abcd (xyz-9) Interim Report 01-03-18.xlsx
False

\\Africa-me.xxx.com\Africa-me\xxx\xxx\xxx\xxx\06 xxx\02 xxx, xxx and xxxx xxx\03 xxx\04 xxx\05 xx xx & xx\12 2018 xx\06 xx xxx\\\AAA-61\abcd Interim Report 01-03-18.xlsx
True

使用glob和os.stat时：

import ctypes

for i in range(0,1):
    for filename in glob.glob(fpath+"\\"+ldir[i]+"\\"+"*Interim*.xlsx"):
        print(filename)
        try:
            print(os.stat(filename))
        except OSError as e: 
            ntstatus = ctypes.windll.ntdll.RtlGetLastNtStatus()
            print('winerror:', e.winerror) 
            print('ntstatus:', hex(ntstatus & (2**32-1)))

\\Africa-me.xxx.com\Africa-me\xxx\xxx\xxx\xxx\06 xxx\02 xxx, xxx and xxxx xxx\03 xxx\04 xxx\05 xx xx & xx\12 2018 xx\06 xx xxx\\\AAA-61\abcd (xyz-9) Interim Report 01-03-18.xlsx
winerror: 3
ntstatus: 0x80000006

\\Africa-me.xxx.com\Africa-me\xxx\xxx\xxx\xxx\06 xxx\02 xxx, xxx and xxxx xxx\03 xxx\04 xxx\05 xx xx & xx\12 2018 xx\06 xx xxx\\\AAA-61\abcd Interim Report 01-03-18.xlsx
os.stat_result(st_mode=33206, st_ino=15624813576354602, st_dev=3657573641, st_nlink=1, st_uid=0, st_gid=0, st_size=726670, st_atime=1563172745, st_mtime=1523347973, st_ctime=1563170560)

3 个答案:

答案 0 :(得分：3)

os.stat测试表明，用括号ERROR_PATH_NOT_FOUND（3）访问路径失败，原因可能是路径组件丢失或路径太长。我们知道找到最终路径组件不是问题，因为在这种情况下，我们预计错误为ERROR_FILE_NOT_FOUND（2）。我们知道保留字符不是问题，因为在这种情况下，我们预计错误为ERROR_INVALID_NAME（123）。同样，在这两种情况下，Windows API都必须进行NT系统调用，但是我们看到最后一个NT状态为STATUS_NO_MORE_FILES（0x80000006），它来自{ {1}}。因此，问题可能在于路径太长。

为简洁起见或隐私，问题似乎是将某些路径组件名称缩短为“ xxx”。如果将其扩展为真实名称，我们可能会看到带有“（xyz-9）”的路径至少为260个字符，这比DOS路径允许的最大长度os.listdir（ 259）个字符。

我们可以通过将长路径转换为扩展路径来访问长路径，扩展路径是一个以“ \\？\”设备路径前缀开头的Unicode字符串，或者为UNC路径为“ \\？\ UNC \” 。首先，由于Windows中的字节路径仅限于glob.glob个字符，因此我们必须解码到Unicode的字节路径。接下来，我们必须通过MAX_PATH - 1对路径进行规范化和限定，因为扩展路径在访问时会绕过规范化。这是一个MAX_PATH函数，用于将DOS路径转换为扩展路径：

os.path.abspath

背景

Windows NT（即XP之后的所有Windows版本）的核心是使用NT内核的NTOS操作系统。这类似于1980年代和1990年代初期在DOS上分层16位Windows的方式。但是与DOS相比，NTOS与Windows的耦合更为紧密，并且它具有更强大的OS（例如，支持对称多处理，抢占式多线程，虚拟内存，异步I / O，受保护的对象以及具有同时登录和会话的多个用户）。 / p>

在某些方面，Windows仍保留其MS-DOS根目录。特别是，对于磁盘设备和文件系统路径，Windows API使用DOS路径而不是NT对象路径。这包括DOS驱动器“ A：”到“ Z：”以及UNC路径，例如“ \\ server \ share \ path”。 Windows API规范化了DOS路径，以用反斜杠替换正斜杠。使用进程工作目录或每驱动器工作目录解析相对路径（即没有根目录或驱动器的路径）；解决“。”和“ ..”组件；并修剪最终组件中的尾随空格和点。

访问DOS路径时，Windows会将其转换为以WINAPI设备前缀之一“ \\。\”和“ \\？\”（例如“ C：\ Windows”->“）开头的设备路径。 \\？\ C：\ Windows“）。对于驱动器号路径和相对路径（而不是UNC路径），它将在最终路径组件中保留一小组DOS设备名称（例如“ C：\ Temp \ con”->“ \\。\ con”，以及“ nul”->“ \\。\ nul”）。对于UNC路径，它使用“ UNC”设备挂载点（例如\\ server \ share \ path->“ \\？\ UNC \ server \ share \ path”）。在呼叫传递到NT域之前，WINAPI设备前缀（“ \\。\”或“ \\？\”）被NTAPI设备前缀（“ \ ?? \”）替换。

这些设备名称空间前缀是NT对象名称空间中调用者的本地安装点目录的简写（即“ \ Sessions \ 0 \ DosDevices \ <呼叫者的登录会话ID>”）。本地安装点目录隐式隐藏了全局安装点目录（即“ \ Global ??”）。例如，“ C：\ Temp”变为“ \ ?? \ C：\ Temp”，如果全局“ C：”未局部阴影，则结果为“ \ Global ?? \ C：\ Temp”。可以通过“全局”对象链接（例如“ \\？\ Global \ C：\ Temp”）显式引用全局安装点，该链接应该始终可用。

通常，DOS路径规范化使用的字符串缓冲区的空间不得超过extpath（260）个字符。在Windows 10中，如果为系统启用了长路径并且应用程序清单声明它知道长路径，则将取消此传统限制（在大多数情况下）。的 Python 3.6及更高版本中的“ python [w] .exe”可执行文件具有此清单设置。

如果未启用长DOS路径，则大多数文件API函数仍支持长路径。我们只需要使用以“ \\？\”前缀开头的WINAPI设备路径，这称为扩展路径。这类似于以“ \\。\”前缀开头的常规设备路径，不同之处在于扩展路径在访问时不会被规范化。缺点是我们必须实现自己的路径规范化。在Python中，这是由import os try: from os import fsdecode except ImportError: # Probably Python 2.x import sys def fsdecode(filename): if isinstance(filename, type(u'')): return filename elif isinstance(filename, bytes): return filename.decode(sys.getfilesystemencoding(), 'strict') raise TypeError('expected string, not {}'.format( type(filename).__name__)) def extpath(path): path = os.path.abspath(fsdecode(path)) if not path.startswith(u'\\\\?\\'): if path.startswith(u'\\\\.\\'): path = u'\\\\?\\' + path[4:] elif path.startswith(u'\\\\'): path = u'\\\\?\\UNC\\' + path[2:] else: path = u'\\\\?\\' + path return path 实现的。我们仍然必须手动重写UNC路径，但这很简单，用“ \\？\ UNC \”替换前导的“ \\”。

请注意，工作目录不支持扩展或不扩展的设备路径。如果我们将设备路径设置为工作目录，则系统具有未定义的行为。因此，请勿将它们与Python的MAX_PATH或os.path.abspath的{​​{1}}参数一起使用。这意味着我们无法通过将扩展路径设置为工作目录来避免使用较长的相对路径。在Windows 10中，如果为该进程启用了长DOS路径，则工作目录确实支持长路径，但是它仍仅支持常规DOS路径（UNC和驱动器字母路径），而不支持设备路径。

答案 1 :(得分：0)

尝试添加r来将整个名称视为原始字符串： https://docs.python.org/3/reference/lexical_analysis.html \ 

df=pd.read_excel(r'abcd (xyz-9) Interim Report 01-03-18.xlsx')

答案 2 :(得分：0)

每当我处理文件时，我总是尝试使用python的pathlib模块。文件名中的首字母a似乎有错误

import pandas as pd                                                        
import pathlib                                                             
path_to_file = pathlib.Path("g:\Python\abcd (xyz-9) Interim Report 01-03-18.xlsx")
df = pd.read_exces(path_to_file)
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
AttributeError: module 'pandas' has no attribute 'read_exces'
df = pd.read_excel(path_to_file)
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "C:\Program Files\Python37\lib\site-packages\pandas\util\_decorators.py", line 188, in wrapper
    return func(*args, **kwargs)
  File "C:\Program Files\Python37\lib\site-packages\pandas\util\_decorators.py", line 188, in wrapper
    return func(*args, **kwargs)
  File "C:\Program Files\Python37\lib\site-packages\pandas\io\excel.py", line 350, in read_excel
    io = ExcelFile(io, engine=engine)
  File "C:\Program Files\Python37\lib\site-packages\pandas\io\excel.py", line 653, in __init__
    self._reader = self._engines[engine](self._io)
  File "C:\Program Files\Python37\lib\site-packages\pandas\io\excel.py", line 424, in __init__
    self.book = xlrd.open_workbook(filepath_or_buffer)
  File "C:\Program Files\Python37\lib\site-packages\xlrd\__init__.py", line 111, in open_workbook
    with open(filename, "rb") as f:
OSError: [Errno 22] Invalid argument: 'g:\\Python\x07bcd (xyz-9) Interim Report 01-03-18.xlsx'

似乎由于前面的反斜杠，初始的a在某些时候被解释为控制符号\x07 U + 0007：ALERT [BEL]。

这就是为什么在定义路径时必须使用原始字符串，例如Dawid suggested 

path_to_file = pathlib.Path(r"g:\Python\abcd (xyz-9) Interim Report 01-03-18.xlsx")
相关问题
最新问题