Question

我正在编写一个脚本，它以递归方式扫描目录并将它们存储在一个列表中，该字典是一个列表集合。这个燕鸥列表包含具有文件名和文件大小的列表。此文件名可能包含UTF-8字符，如下所示。

['test.rus (\xd0\xa5\xd0\xb5\xd0\xbb\xd1\x8c\xd1\x88\xd0\xb8).srt', 23930]
test.rus (Хельши).srt

现在，在尝试将该数据插入数据库时，我收到错误，如下所示

Traceback (most recent call last):
  File "filedup.py", line 267, in <module>
    read_file_directory(directory)
  File "filedup.py", line 118, in read_file_directory
    (values[i][0], each, values[i][1]))
sqlite3.ProgrammingError: You must not use 8-bit bytestrings unless you use a text_factory that can interpret 8-bit bytestrings (like text_factory = str). It is highly recommended that you instead just switch your application to Unicode strings.

执行此操作的功能如下所示

from collections import defaultdict
dirDict = defaultdict(list)    
def read_file_directory(path):
    global dirDict
    logger.debug("Path being scanned %s" %path)
    fileStats = []
    for root, subFolders, files in os.walk(path):
        for file_name in files:
            fileStats = []
            fileStats.insert(0, file_name)
            fileSize = os.path.getsize(os.path.join(root,file_name))
            fileStats.insert(1, fileSize)
            dirDict[root].append(fileStats)
    #Insert the data in DB
    cursor = dbHandler.cursor()
    keys = dirDict.keys()
    for each in keys:
        values = dirDict[each]
        print values
        for i in xrange(len(values)):
            print values[i]
            print values[i][0]
            print values[i][1]
            fileName = values[i][0]
            fileSize = values[i][1]
            cursor.execute("insert or ignore into master \
                (FileName, FilePath, FileSize) values(?,?,?)", \
                (values[i][0], each, values[i][1]))
            logger.debug("Insert data for %s, %s, %s" %(values[i][0], each, values[i][1]))

现在我正在尝试学习Python，但我没有得到如何解决这个问题。我正在使用的Python版本在下面给出

$ python
Python 2.7.6 (default, Mar 22 2014, 22:59:56) 
[GCC 4.8.2] on linux2

所以任何想法如何解决当前版本的Python，因为我正在寻找通用修复程序，以便它甚至可以在更高版本上工作。此外，我观察到由于此错误，没有数据被插入数据库。那么我怎样才能确保即使某些操作导致错误，也可以将以前的数据插入到数据库中。

Answer 1

sqlite异常建议你切换到unicode字符串，所以你应该这样做。

Python的os.walk等目录列表功能有一个curious property;当给定普通字符串时，它们将返回正常字符串，并在给定unicode字符串时返回unicode字符串。因此，在代码中使用os.walk(path)时，应确保path是一个unicode字符串。

为此，您可以使用unicode()功能显式转换为unicode，例如在调用path = unicode(path)之前写os.walk。

此外，您需要在代码中调用cursor.commit()来实际写入数据库。在完成所有文件名的循环后调用它应该就足够了。

Answer 2

尝试更改行：

fileStats.insert(0, file_name)

到

fileStats.insert(0, file_name.decode('utf8'))

Python sqlite3.ProgrammingError：除非使用可解释8位字节串的text_factory，否则不得使用8位字节串

2 个答案: