我无法在网页下方抓取
https://www.sunnxt.com/tv/detail/41600/
此网页包含节目剧集。我需要剧集名称及其日期。
当我尝试用css或xpath选择器解析它时,它没有给我所需的响应。
我在scrapy中试过以下代码:
Request(url="https://www.sunnxt.com/tv/detail/32574/", headers={"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 "
"(KHTML, like Gecko) Chrome/64.0.3282.186 Safari/537.36", "csrf-token":"lRXDyfu9trir3WDggGqAGYlefUNEaCJ7b8dvI33g"}, meta={'item': item}, callback=self.get_episodes)
def get_episodes(self, response):
item = response.meta.get('item')
for x in response.css('body'):
item['code'] = x.css('script::text').extract()
请有人帮忙。