我收到了一些编码的文本，但我不知道使用了什么字符集。有没有办法使用Python确定文本文件的编码？ How can I detect the encoding/codepage of a text file处理C＃。
答案 0 :(得分：190)
始终正确检测编码不可能。
（来自chardet常见问题：）
但是，某些编码已经过优化 用于特定语言和语言 不是随机的。一些人物 序列一直弹出，而 其他序列毫无意义。一个 能说一口流利的英语人士 报纸发现“txzqJv 2！dasd0a QqdKjvz“将立即认识到这一点 这不是英语（即使它是 完全由英文字母组成）。 通过研究大量的“典型”文本，a 计算机算法可以模拟这个 流畅性和受过良好教育 猜猜文本的语言。
有chardet库使用该研究来尝试检测编码。 chardet是Mozilla中自动检测代码的一个端口。
您也可以使用UnicodeDammit。它将尝试以下方法：
答案 1 :(得分：47)
计算编码的另一个选择是使用 libmagic（这是代码背后的代码） file命令）。有很多 python绑定可用。
生活在文件源树中的python绑定可用作 python-magic（或python3-magic） debian包。它可以通过执行以下操作来确定文件的编码：
import magic
blob = open('unknown-file').read()
m = magic.open(magic.MAGIC_MIME_ENCODING)
m.load()
encoding = m.buffer(blob) # "utf-8" "us-ascii" etc
pypi上有一个名称相同但不兼容的python-magic pip包，它也使用libmagic。它也可以通过以下方式获得编码：
import magic
blob = open('unknown-file').read()
m = magic.Magic(mime_encoding=True)
encoding = m.from_buffer(blob)
答案 2 :(得分：25)
一些编码策略，请注意尝试：
#!/bin/bash
#
tmpfile=$1
echo '-- info about file file ........'
file -i $tmpfile
enca -g $tmpfile
echo 'recoding ........'
#iconv -f iso-8859-2 -t utf-8 back_test.xml > $tmpfile
#enca -x utf-8 $tmpfile
#enca -g $tmpfile
recode CP1250..UTF-8 $tmpfile
您可能希望通过以循环形式打开和读取文件来检查编码...但您可能需要先检查文件大小：
encodings = ['utf-8', 'windows-1250', 'windows-1252' ...etc]
for e in encodings:
try:
fh = codecs.open('file.txt', 'r', encoding=e)
fh.readlines()
fh.seek(0)
except UnicodeDecodeError:
print('got unicode error with %s , trying different encoding' % e)
else:
print('opening the file with encoding: %s ' % e)
break
答案 3 :(得分：16)
以下是一个以chardet编码预测读取和获取面值的示例，在文件很大的情况下从文件中读取n_lines。
chardet还为您提供了一个概率（即confidence）的编码预测（看起来他们是怎么想出来的），这是预测返回的来自chardet.predict()，所以如果你愿意，你可以以某种方式工作。
def predict_encoding(file_path, n_lines=20):
'''Predict a file's encoding using chardet'''
import chardet
# Open the file as binary data
with open(file_path, 'rb') as f:
# Join binary lines for specified number of lines
rawdata = b''.join([f.readline() for _ in range(n_lines)])
return chardet.detect(rawdata)['encoding']
答案 4 :(得分：4)
这可能有帮助
from bs4 import UnicodeDammit
with open('automate_data/billboard.csv', 'rb') as file:
content = file.read()
suggestion = UnicodeDammit(content)
suggestion.original_encoding
#'iso-8859-1'
答案 5 :(得分：3)
# Function: OpenRead(file)
# A text file can be encoded using:
# (1) The default operating system code page, Or
# (2) utf8 with a BOM header
#
# If a text file is encoded with utf8, and does not have a BOM header,
# the user can manually add a BOM header to the text file
# using a text editor such as notepad++, and rerun the python script,
# otherwise the file is read as a codepage file with the
# invalid codepage characters removed
import sys
if int(sys.version[0]) != 3:
print('Aborted: Python 3.x required')
sys.exit(1)
def bomType(file):
"""
returns file encoding string for open() function
EXAMPLE:
bom = bomtype(file)
open(file, encoding=bom, errors='ignore')
"""
f = open(file, 'rb')
b = f.read(4)
f.close()
if (b[0:3] == b'\xef\xbb\xbf'):
return "utf8"
# Python automatically detects endianess if utf-16 bom is present
# write endianess generally determined by endianess of CPU
if ((b[0:2] == b'\xfe\xff') or (b[0:2] == b'\xff\xfe')):
return "utf16"
if ((b[0:5] == b'\xfe\xff\x00\x00')
or (b[0:5] == b'\x00\x00\xff\xfe')):
return "utf32"
# If BOM is not provided, then assume its the codepage
# used by your operating system
return "cp1252"
# For the United States its: cp1252
def OpenRead(file):
bom = bomType(file)
return open(file, 'r', encoding=bom, errors='ignore')
#######################
# Testing it
#######################
fout = open("myfile1.txt", "w", encoding="cp1252")
fout.write("* hi there (cp1252)")
fout.close()
fout = open("myfile2.txt", "w", encoding="utf8")
fout.write("\u2022 hi there (utf8)")
fout.close()
# this case is still treated like codepage cp1252
# (User responsible for making sure that all utf8 files
# have a BOM header)
fout = open("badboy.txt", "wb")
fout.write(b"hi there. barf(\x81\x8D\x90\x9D)")
fout.close()
# Read Example file with Bom Detection
fin = OpenRead("myfile1.txt")
L = fin.readline()
print(L)
fin.close()
# Read Example file with Bom Detection
fin = OpenRead("myfile2.txt")
L =fin.readline()
print(L) #requires QtConsole to view, Cmd.exe is cp1252
fin.close()
# Read CP1252 with a few undefined chars without barfing
fin = OpenRead("badboy.txt")
L =fin.readline()
print(L)
fin.close()
# Check that bad characters are still in badboy codepage file
fin = open("badboy.txt", "rb")
fin.read(20)
fin.close()
答案 6 :(得分：1)
根据您的平台，我只选择使用linux shell file命令。这对我有用，因为我在一个专门在我们的Linux机器上运行的脚本中使用它。
显然，这不是一个理想的解决方案或答案，但可以根据您的需要进行修改。在我的情况下，我只需要确定文件是否是UTF-8。
import subprocess
file_cmd = ['file', 'test.txt']
p = subprocess.Popen(file_cmd, stdout=subprocess.PIPE)
cmd_output = p.stdout.readlines()
# x will begin with the file type output as is observed using 'file' command
x = cmd_output[0].split(": ")[1]
return x.startswith('UTF-8')
答案 7 :(得分：0)
在一般情况下，原则上不可能确定文本文件的编码。所以不，没有标准的Python库可以帮到你。
如果您对文本文件有更多具体知识（例如它是XML），则可能存在库函数。
答案 8 :(得分：0)
如果您知道文件的某些内容，可以尝试使用多种编码对其进行解码，并查看哪些内容丢失。一般来说，没有办法，因为文本文件是文本文件而且那些是愚蠢的;）
答案 9 :(得分：0)
使用 linux file -i 命令
import subprocess
file = "path/to/file/file.txt"
encoding = subprocess.Popen("file -bi "+file, shell=True, stdout=subprocess.PIPE).stdout
encoding = re.sub(r"(\\n)[^a-z0-9\-]", "", str(encoding.read()).split("=")[1], flags=re.IGNORECASE)
print(encoding)
答案 10 :(得分：0)
您可以使用`python-magic 包，它不会将整个文件加载到内存中：
import magic
def detect(
file_path,
):
return magic.Magic(
mime_encoding=True,
).from_file(file_path)
输出是编码名称，例如：
答案 11 :(得分：0)
你可以使用chardet模块
import chardet
with open (filepath , "rb") as f:
data= f.read()
encode=chardet.UniversalDetector()
encode.close()
print(encode.result)
或者您可以在 linux 中使用 chardet3 命令，但需要一些时间：
chardet3 fileName
示例：
chardet3 donnee/dir/donnee.csv
donnee/dir/donnee.csv: ISO-8859-1 with confidence 0.73
答案 12 :(得分：0)
如果您对自动工具不满意，可以尝试所有编解码器，然后手动查看哪个编解码器是正确的。
all_codecs = ['ascii', 'big5', 'big5hkscs', 'cp037', 'cp273', 'cp424', 'cp437',
'cp500', 'cp720', 'cp737', 'cp775', 'cp850', 'cp852', 'cp855', 'cp856', 'cp857',
'cp858', 'cp860', 'cp861', 'cp862', 'cp863', 'cp864', 'cp865', 'cp866', 'cp869',
'cp874', 'cp875', 'cp932', 'cp949', 'cp950', 'cp1006', 'cp1026', 'cp1125',
'cp1140', 'cp1250', 'cp1251', 'cp1252', 'cp1253', 'cp1254', 'cp1255', 'cp1256',
'cp1257', 'cp1258', 'euc_jp', 'euc_jis_2004', 'euc_jisx0213', 'euc_kr',
'gb2312', 'gbk', 'gb18030', 'hz', 'iso2022_jp', 'iso2022_jp_1', 'iso2022_jp_2',
'iso2022_jp_2004', 'iso2022_jp_3', 'iso2022_jp_ext', 'iso2022_kr', 'latin_1',
'iso8859_2', 'iso8859_3', 'iso8859_4', 'iso8859_5', 'iso8859_6', 'iso8859_7',
'iso8859_8', 'iso8859_9', 'iso8859_10', 'iso8859_11', 'iso8859_13',
'iso8859_14', 'iso8859_15', 'iso8859_16', 'johab', 'koi8_r', 'koi8_t', 'koi8_u',
'kz1048', 'mac_cyrillic', 'mac_greek', 'mac_iceland', 'mac_latin2', 'mac_roman',
'mac_turkish', 'ptcp154', 'shift_jis', 'shift_jis_2004', 'shift_jisx0213',
'utf_32', 'utf_32_be', 'utf_32_le', 'utf_16', 'utf_16_be', 'utf_16_le', 'utf_7',
'utf_8', 'utf_8_sig']
def find_codec(text):
for i in all_codecs:
for j in all_codecs:
try:
print(i, "to", j, text.encode(i).decode(j))
except:
pass
find_codec("The example string which includes ö, ü, or ÄŸ, ö")
此脚本至少创建 9409 行输出。因此，如果输出无法适应终端屏幕，请尝试将输出写入文本文件。
答案 13 :(得分：-1)
该站点具有用于识别ascii，使用boms编码和utf8 no bom的python代码：https://unicodebook.readthedocs.io/guess_encoding.html。将文件读入字节数组（数据）：http://www.codecodex.com/wiki/Read_a_file_into_a_byte_array。这是一个例子。我在osx中。
#!/usr/bin/python
import sys
def isUTF8(data):
try:
decoded = data.decode('UTF-8')
except UnicodeDecodeError:
return False
else:
for ch in decoded:
if 0xD800 <= ord(ch) <= 0xDFFF:
return False
return True
def get_bytes_from_file(filename):
return open(filename, "rb").read()
filename = sys.argv[1]
data = get_bytes_from_file(filename)
result = isUTF8(data)
print(result)
PS /Users/js> ./isutf8.py hi.txt
True