Scrapy-如何使用python在Weblink内刮取Weblink？

Question

我正在尝试刮擦：

https://webmd.com/oral-health/oral-lichen-planus#1来自webmd网站，位于以下网页代码中：

<li class="global-nav-sign-in global-nav-hide-mobile" data-metrics-module="">
            <a href="https://member.webmd.com/signin?appid=1&amp;returl=https://www.webmd.com/oral-health/oral-lichen-planus#1" data-metrics-link="reg-login">Sign In</a>
        </li> 

我使用下面的抓取代码来实现这一目标：

import scrapy
import re
import string
import pandas as pd

class HealthItem(scrapy.Item):
    link = scrapy.Field()


def urls_getter():
    fname = "/home/phil/fd/webmd/health.csv"
    pds = pd.read_csv(fname)
    pds_link = pds['link']
    pds_link = pds_link.drop_duplicates(keep = "first", inplace = False)
    pds_link = pds_link.tolist()
    return pds_link


class SymptommdSpider(scrapy.Spider):
    name = "symptommd"
    allowed_domains = ["webmd.com"]
    start_urls = urls_getter()
    def parse(self, response):
        titles = response.xpath('//li[contains(@class, "global-nav-sign-in")]/a[contains(@href, "https:")]')
        for title in titles:
            item = HealthItem()
            item['link'] =  title.xpath('@href').extract()
            yield item

但是，此代码仅获取a href的前半部分。即https://member.webmd.com/signin。如何仅获得第二个Web链接？

Answer 1

如评论中所述，URL是使用Javascript构建的。如果您查看原始HTML，则它看起来像这样：

真的重要吗？该URL https://member.webmd.com/signin指向您一个有效的页面。

如果这很重要，那么您需要一些额外的逻辑来从Javascript中提取信息，或者您可以在代码中对完整的URL进行硬编码。