SQLite中的UnicodeDecodeError

Question

我正在尝试获取2元素元组的列表，并将它们添加到SQLite表中。

元组的第一个元素是一个字符串（用unicode utf-8编码），第二个元素是murmurhash3 hash字符串的utf-8。

这是违规行： 结果

self.dbc.primaryCursor.executemany("insert into Table values(?,?); 
select last_insert_rowid() as lastrowid;", ListOfTermsAndHashesTuples)

错误为UnicodeDecodeError：

'ascii' codec can't decode byte 0xc3 in position 4: ordinal not in range(128).

导致此错误的原因是什么？

Answer 1

您的输入很可能不是有效的UTF-8格式。 在Linux和Mac上，您可以通过将字符串放入文件并运行：

来轻松检查它

iconv -f UTF-8 -t UTF-8 <your_filename_goes_here>