Question

我在从MySQL的表中获取Scrapy的start_urls时遇到问题。

MySQL有一个名为“ scrapy”的数据库，一个名为“ urls”的表，其中只有一个名为“ url”的列，每行都有一个要抓取的URL。

这是我目前拥有的代码，但是我觉得我在某处缺少一个概念：

# -*- coding: utf-8 -*-
import scrapy
import datetime
import urlparse
import socket
import MySQLdb
from scrapy.loader import ItemLoader
from example.items import exampleitem


class instantdbSpider(scrapy.Spider):
    name = 'instantdb'
    allowed_domains = ['example.com']
    def start_requests(self):
        conn = MySQLdb.connect(
            user='root',
            passwd='Password!',
            db='scrapy',
            host='localhost',
            charset="utf8",
            use_unicode=True,
            cursorclass=MySQLdb.cursors.DictCursor
        )
        cursor = conn.cursor()
        cursor.execute('SELECT * FROM urls')
        rows = cursor.fetchall()
        for row in rows:
            url = row["url"]
        yield Request(url=url)

    def parse(self, response):
        l = ItemLoader(item=exampleitem(), response=response)

        #Scrape Fields
        l.add_xpath('title', '//html/head/title/text()')
        l.add_xpath('sku', '//*[@id="js-zoom-image-container"]/div[5]/h2/strong/text()')
        l.add_xpath('price', '//*[@id="main-content"]/div/div[1]/div[1]/div[1]/div/div[1]/div[2]/p/text()[1]')
        l.add_xpath('product_title', '//html/body/div[1]/span[4]/text()')
        l.add_xpath('image_url', '//*[@id="main-content"]/div/div[1]/div[1]/div[2]/div[1]/div[3]/div[1]/a/img/@src')
        l.add_xpath('description', '//*[@id="main-content"]/div/div[1]/div[1]/div[2]/div[7]')

        # Administration Fields
        l.add_value('url', response.url)
        l.add_value('project', self.settings.get('BOT_NAME'))
        l.add_value('spider', self.name)
        l.add_value('server', socket.gethostname())
        l.add_value('date', datetime.datetime.now())

        return l.load_item()

任何人的帮助都将不胜感激，因为我似乎在圈子里转转。谢谢。

从MySQL表中抓取Start_URLs

0 个答案: