Question

我使用parse方法在本地保存一些html文件，然后我想解析它们。但我得到了AttributeError: 'unicode' object has no attribute 'text'

我知道我可以将这个过程分成两个方法，这意味着首先我保存这些html文件然后第二次传递给另一个方法并解析它们。但我需要以相同的方法保存和解析。

这是我的代码

def parse(self, response):

    sel = Selector(response)
    company = CompanyItem()     

    total_results_count = self.driver.find_element_by_xpath("//div[@class='totalResultsCount big']").text
    if total_results_count >3:
        person_1 = WebDriverWait(self.driver,10).until(EC.presence_of_element_located((By.CSS_SELECTOR, "tr:nth-child(1) > td.personName > a")))
        person_1.click()

        person_profile = WebDriverWait(self.driver, 20).until(EC.presence_of_element_located((By.ID, "profileSectionContent")))
        html_source = self.driver.find_element_by_xpath("//table[@id='personSummaryTable']").get_attribute("outerHTML")
        f = open('person_1_%s.html'%(company['c_name']), 'w')
        f.write(html_source.encode('utf-8'))
        f.close()
        person_path = 'file:///Users/cengcengruihong/Desktop/scrapy_learning/zoominfo_test/' + 'person_1_%s.html'%(company['c_name'])
        cookies = self.driver.get_cookies()

        sel = HtmlXPathSelector(person_path)
        company['p1c_name'] = sel.xpath("//h1[@itemprop='name']/text()").extract_first().strip("\n")
        company['p1c_role'] = sel.xpath("//h2[@itemprop='role']/text()").extract_first().strip("\n")
        company['p1c_phoneNumber'] = sel.xpath("//div[@class='phoneNumber']/text()[position()=2]").extract_first().strip("\n")
        company['p1c_email'] = sel.xpath("//span[@class='personEmail']/a/text()").extract_first().strip()

        yield company

有人给我一个提示会受到高度赞赏。感谢

Answer 1

你的问题在这里

person_path = 'file:///Users/cengcengruihong/Desktop/scrapy_learning/zoominfo_test/' + 'person_1_%s.html'%(company['c_name'])
    cookies = self.driver.get_cookies()

    sel = HtmlXPathSelector(person_path)

将文件名传递给Selector的构造函数，同时将Response object作为第一个参数。要从文件内容创建Selector，您应该执行以下操作：

from scrapy.selector import Selector

with open(person_path) as fp:
    sel = Selector(text=fp.read())

Answer 2

使用此代码使用Scrapy解析HTML。

from scrapy.http import HtmlResponse
response = HtmlResponse(url="", body='<div id="test">Test text</div>')
response.xpath('//div[@id="test"]/text()').extract()[0].strip()

您可以阅读文件的内容，然后将其传递给body参数。

text = response.text AttributeError：＆＃39; unicode＆＃39;对象没有属性＆＃39; text＆＃39;

2 个答案: