Question

我是“ scrapy ”的新手，我正在废弃一个网站，并且我有一些锚点标签，其中包含带有 java脚本SubmitForm函数的href属性。当我单击该javascript函数时，页面正在打开，我需要从中获取数据。我使用 Xpath 并找到特定锚标记的href，但无法执行包含javascript函数的href属性。任何人都可以告诉我如何在scrapy python中执行javascript提交锚标签的功能。我的HTML代码是

   <table class="Tbl" cellspacing="2" cellpadding="0" border="0">
     <tbody>
        <tr>
           <td class="TblOddRow">
             <table cellspacing="0" cellpadding="0" border="0">
               <tbody>
                 <tr>
                   <td valign="middle" nowrap="">
                        <a class="Page" alt="Click to view job description" title="Click to view job description" href="javascript:sysSubmitForm('frmSR1');">Accountant&nbsp;</a>
                   </td>
                 </tr>
               </tbody>
             </table>
           </td>
        </tr>
      </tbody>
  </table>

蜘蛛代码是

class MountSinaiSpider(BaseSpider):
   name = "mountsinai"
   allowed_domains = ["mountsinaicss.igreentree.com"]
   start_urls = [
       "https://mountsinaicss.igreentree.com/css_external/CSSPage_SearchAndBrowseJobs.ASP?T=20120517011617&",
   ]
   def parse(self, response):
       return [FormRequest.from_response(response,
                                        formdata={ "Type":"CSS","SRCH":"Search&nbsp;Jobs","InitURL":"CSSPage_SearchAndBrowseJobs.ASP","RetColsQS":"Requisition.Key¤Requisition.JobTitle¤Requisition.fk_Code_Full_Part¤[Requisition.fk_Code_Full_Part]OLD.Description(sysfk_Code_Full_PartDesc)¤Requisition.fk_Code_Location¤[Requisition.fk_Code_Location]OLD.Description(sysfk_Code_LocationDesc)¤Requisition.fk_Code_Dept¤[Requisition.fk_Code_Dept]OLD.Description(sysfk_Code_DeptDesc)¤Requisition.Req¤","RetColsGR":"Requisition.Key¤Requisition.JobTitle¤Requisition.fk_Code_Full_Part¤[Requisition.fk_Code_Full_Part]OLD.Description(sysfk_Code_Full_PartDesc)¤Requisition.fk_Code_Location¤[Requisition.fk_Code_Location]OLD.Description(sysfk_Code_LocationDesc)¤Requisition.fk_Code_Dept¤[Requisition.fk_Code_Dept]OLD.Description(sysfk_Code_DeptDesc)¤Requisition.Req¤","ResultSort":"" },
                                        callback=self.parse_main_list)]
   def parse_main_list(self, response):
       hxs = HtmlXPathSelector(response)
       firstpage_urls = hxs.select("//table[@class='Tbl']/tr/td/table/tr/td")

   for link in firstpage_urls:
       hrefs = link.select('a/@href').extract()

Answer 1

Scrapy不允许您“执行javascript提交功能”。为此，您必须使用Splash或支持与JavaScript交互的类似替代方法。 Scrapy仅适用于基础HTML。

解决Scrapy问题的方法是弄清楚JavaScript代码如何构建请求，并使用Scrapy重现这样的请求。

要弄清楚JavaScript代码的作用，您有两个选择：

在页面JavaScript代码中找到sysSubmitForm()的定义，并通过自己阅读JavaScript代码来了解其作用。
使用Web浏览器的“开发工具”的“网络”选项卡，观察触发JavaScript代码时向服务器发送的请求，并检查该请求以弄清楚如何自己构建类似的请求。 / p>

Answer 2

使用内置的FormRequest或FormRequest.from_response函数 - 在其中指定要提交给表单的数据。

在python中使用scrapy执行Javascript函数

2 个答案: