Python3编码问题

Question

我正在学习使用python3进行爬行。 我想只从html代码中提取文本。

ex）in html

<div class='titleArea'>
    "~~~~~ text~~~~"
</div>

所以，我写了这段代码来提取文本

    title_temp = soup.findAll('div',class_='titleArea')
    print(title_temp)

**我知道print（title_temp [0] .text）但无关紧要

结果是

这张图片的内容是

[<div class='titleArea'>
        @#$!$^!@#!@^#!$^!@#!@#!@# 
</div>]
[<div class='titleArea'>
        @#$!$^!@#!@^#!$^!@#!@#!@# 
</div>]

***重复有两个List的原因。

我不想那个文字。

我该怎么办？

我认为这是utf-8问题。

正确？

所以，

我写了那个

# -*- coding: utf-8 -*-

但是，没有效果。

Answer 1

import requests, bs4

r = requests.get('http://hri.co.kr/board/reportView.asp?firstDepth=1&secondDepth=1&numIdx=26865')
r.encoding='euc-kr'
soup = bs4.BeautifulSoup(r.text, 'lxml')
soup.find_all('div',class_='titleArea')

出：

[<div class="titleArea">
                                트럼프노믹스가 중국 경제에 미치는 영향
                             </div>]

chartset位于html标题中：

编辑： 更优雅的方式：

import requests, bs4

r = requests.get('http://hri.co.kr/board/reportView.asp?firstDepth=1&secondDepth=1&numIdx=26865')
r.encoding = r.apparent_encoding

这将自动设置编码。