命令行工具

Question

我使用chardet来识别我的文件编码，但是发生了这个错误：

fh= open("file", mode="r")
sc= chardet.detect(fh)

Traceback (most recent call last):
  File "/home/alireza/test.py", line 19, in <module>
    sc= chardet.detect(fh)
  File "/usr/lib/python3/dist-packages/chardet/__init__.py", line 24, in detect
    u.feed(aBuf)
  File "/usr/lib/python3/dist-packages/chardet/universaldetector.py", line 65, in feed
    aLen = len(aBuf)
TypeError: object of type '_io.TextIOWrapper' has no len()

我无法打开文件而不知道编码，

fh= open("file", mode="r").read()
sc= chardet.detect(fh)

Traceback (most recent call last):
  File "/home/alireza/workspacee/makecdown/test.py", line 21, in <module>
    fh= open("910.srt", mode="r").read()
  File "/usr/lib/python3.2/codecs.py", line 300, in decode
    (result, consumed) = self._buffer_decode(data, self.errors, final)
UnicodeDecodeError: 'utf-8' codec can't decode byte 0xc7 in position 34: invalid continuation byte

如何在没有打开文件的情况下使用chardet？或者在打开之后/之前找到文件编码的任何方法？

Answer 1

尝试像这样打开文件

fh= open("file", mode="rb")

命令行工具

如果这不起作用，请尝试使用chardet的命令行工具。来自https://github.com/erikrose/chardet的说明：

chardet带有一个命令行脚本，可以报告编码一个或多个文件：
% chardetect.py somefile someotherfile
somefile: windows-1252 with confidence 0.5
someotherfile: ascii with confidence 1.0

Answer 2

不是直接的答案，但你可以在这里找到它在Python 3中的工作原理http://getpython3.com/diveintopython3/case-study-porting-chardet-to-python-3.html。在研究之后，您可能会找到如何检测另一种特定编码的方法。

该代码最初源自Mozilla Seamonkey。您可以在那里找到更多信息。或者寻找一些与Seamonkey相关的更高级的Python包。

python3中的chardet和未知的文件编码

2 个答案:

命令行工具