日语中的字符未正确解码

Question

我目前正在使用BeautifulSoup4抓取一些日语网站。 我有解码日文字符的问题。只有＆＃39;〜＆＃39;和＆＃39;ー＆＃39;作为方形字符返回。有谁知道如何解决这个问题？该网站采用“utf-8＆＃39;”编码。

这是我的解析代码：

response = requests.get(url)
soup = BeautifulSoup(resonse.text, 'html.parser')

提前致谢。