我正在尝试抓取imdb网站。我正在从“ application / ld + json”文件中提取信息,并使用beautifulsoup来解析页面。当我在本地计算机上运行脚本时,它可以正常工作,但是我正在尝试将其部署在aws上,beautifulsoup的get_text方法不起作用。
我什至使用python控制台在aws实例中进行了一些测试。当我要求使用整个标签时,它会起作用:
html.find(attrs={'type':"application/ld+json"})
<script type="application/ld+json">{
"@context": "http://schema.org",
"@type": "TVSeries",
"url": "/title/tt5753856/"....}
但是当我尝试仅引出标记内的文本时,它会返回一个空字符串:
html.find(attrs={'type':"application/ld+json"}).get_text()
''
有人知道我该如何解决吗?