美丽的汤不返回完整的html

时间:2019-12-30 17:29:58

标签: python html twitter beautifulsoup

我注意到我的代码没有返回完整的html。这是代码:

import requests
from bs4 import BeautifulSoup

keys = "blabla" + " -filter:retweets AND -filter:replies"
query = "https://twitter.com/search?f=tweets&vertical=default&q=" + keys + "&src=typd&lang=es"
req = requests.get(query)
soup = BeautifulSoup(req.text, "html.parser")

for tweets in soup.findAll("li", {'class': 'js-stream-item stream-item stream-item'}):
    print(tweets.get("data-tweet-id"))

这不会打印任何内容,即使在Twitter搜索页面上,“ li”标签甚至不在汤对象中,也不在“ div class ='stream'”中。

  <div class="stream">
        <ol class="stream-items js-navigable-stream" id="stream-items-id">

      <li class="js-stream-item stream-item stream-item
" data-item-id="1211695349607174144"
id="stream-item-tweet-1211695349607174144"
data-item-type="tweet"

我的汤对象中还没有出现很多其他东西。

0 个答案:

没有答案