标签: node.js character-encoding http-headers request
我正在构建一个nodejs网络爬虫,但我遇到了一些字符集问题。不同的网站有不同的字符集,如UTF-8,windows-1252,iso-8859-1等。
如何调整我的请求以将不同于UTF-8的所有字符集转换为UTF-8?因为如果我不做任何事情而只是使用cheerio来解析内容,我会得到像“ib rica”这样奇怪的符号,其中“ ”被认为是“é”
答案 0 :(得分:1)
有iconv(需要编译)和iconv-lite(不需要编译)在节点中的字符集之间进行转换。