Question

我是scrapy和python的新手，我正试图从以下的开始网址中删除数据。

登录后，这是我的开始网址---＆gt;

start_urls = [＆＃34; http://www.flightstats.com/go/HistoricalFlightStatus/flightStatusByFlight.do？＆＃34;]

（a）从那里我需要与网页互动以选择---按机场---

然后制作---机场，日期，时间段选择---

我该怎么做？我想循环所有时间段和过去的日期..

我使用过firebug来查看源代码，我无法在此显示，因为我没有足够的点来发布图像..
我读了一篇提到使用Splinter的文章..

（b）在选择之后，它将引导我进入一个页面，其中包含指向最终页面的链接以及我想要的信息。如何填充链接并让scrapy查看每个链接以提取信息？

- 使用规则？我应该在哪里插入规则/ linkextractor函数？

我愿意尝试自己，希望有帮助可以找到可以指导我的帖子..我是一名学生，我已经花了一个多星期这个..我已经完成了scrapy教程，python教程，阅读scrapy文档并在stackoverflow中搜索以前的帖子，但我没有设法找到涵盖此内容的帖子。

一百万谢谢。

我的代码到目前为止登录以及从最终目标网站通过xpath抓取的项目：

`import scrapy

from tutorial.items import FlightItem
from scrapy.http import FormRequest

class flightSpider(scrapy.Spider):
    name = "flight"
    allowed_domains = ["flightstats.com"]
    login_page =     'https://www.flightstats.com/go/Login/login_input.do;jsessionid=0DD6083A334AADE3FD6923ACB8DDCAA2.web1:8009?'
    start_urls = [
    "http://www.flightstats.com/go/HistoricalFlightStatus/flightStatusByFlight.do?"]

def init_request(self):
    #"""This function is called before crawling starts."""
    return Request(url=self.login_page, callback=self.login)

def login(self, response):
 #"""Generate a login request."""
    return FormRequest.from_response(response,formdata= {'loginForm_email': 'marvxxxxxx@hotmail.com', 'password': 'xxxxxxxx'},callback=self.check_login_response)

def check_login_response(self, response):
        #"""Check the response returned by a login request to see if we aresuccessfully logged in."""
    if "Sign Out" in response.body:
        self.log("\n\n\nSuccessfully logged in. Let's start crawling!\n\n\n")
         # Now the crawling can begin..

    return self.initialized() # ****THIS LINE FIXED THE LAST PROBLEM*****

    else:
            self.log("\n\n\nFailed, Bad times :(\n\n\n")
         # Something went wrong, we couldn't log in, so nothing happens.

def parse(self, response):
    for sel in response.xpath('/html/body/div[2]/div[2]/div'):
        item = flightstatsItem()
        item['flight_number'] = sel.xpath('/div[1]/div[1]/h2').extract()
        item['aircraft_make'] = sel.xpath('/div[4]/div[2]/div[2]/div[2]').extract()
        item['dep_date'] = sel.xpath('/div[2]/div[1]/div').extract()
        item['dep_airport'] = sel.xpath('/div[1]/div[2]/div[2]/div[1]').extract()
        item['arr_airport'] = sel.xpath('/div[1]/div[2]/div[2]/div[2]').extract()
        item['dep_gate_scheduled'] = sel.xpath('/div[2]/div[2]/div[1]/div[2]/div[2]').extract()
        item['dep_gate_actual'] = sel.xpath('/div[2]/div[2]/div[1]/div[3]/div[2]').extract()
        item['dep_runway_actual'] = sel.xpath('/div[2]/div[2]/div[2]/div[3]/div[2]').extract()
        item['dep_terminal'] = sel.xpath('/div[2]/div[2]/div[3]/div[2]/div[1]').extract()
        item['dep_gate'] = sel.xpath('/div[2]/div[2]/div[3]/div[2]/div[2]').extract()
        item['arr_gate_scheduled'] = sel.xpath('/div[3]/div[2]/div[1]/div[2]/div[2]').extract()
        item['arr_gate_actual'] = sel.xpath('/div[3]/div[2]/div[1]/div[3]/div[2]').extract()
        item['arr_terminal'] = sel.xpath('/div[3]/div[2]/div[3]/div[2]/div[1]').extract()
        item['arr_gate'] = sel.xpath('/div[3]/div[2]/div[3]/div[2]/div[2]').extract()

        yield item`

Scrapy - 从网页上的下拉列表（例如日期）中进行选择

0 个答案: