Question

我正在使用自己的管道将废弃的项目存储到PostgreSQL数据库中，几天前我进行了扩展，现在将数据存储到3个数据库中。所以，我想让插入数据的管道每100个项目被调用一次，或者它取出项目并将它们100个100插入。

我想让它在数据库服务器上快速而不那么头疼。

Answer 1

解决方案与Anandhakumar的答案没有什么不同我在设置文件中使用setter和getter方法创建了一个全局列表

# This buffer for the bluk insertion
global products_buffer

products_buffer = []

# Append product to the list
def add_to_products_buffer(product):
  global products_buffer
  products_buffer.append(product)

# Get the length of the product
def get_products_buffer_len():
  global products_buffer
  return len(products_buffer)

# Get the products list
def get_products_buffer():
  global products_buffer
  return products_buffer

# Empty the list
def empty_products_buffer():
  global products_buffer
  products_buffer[:] = []

然后我在管道中导入它

from project.settings import products_buffer,add_to_products_buffer,get_products_buffer_len,empty_products_buffer,get_products_buffer

我每次调用管道时都会将项目附加到列表中，并检查列表的长度是否为100 I循环列表以准备多次插入quires但最重要的魔法是将它们全部提交到一行，不要在循环中提交，否则你将无法获得任何东西，将它们全部插入需要很长时间。

def process_item(self, item, spider):  
    # Adding the item to the list
    add_to_products_buffer(item)
    # Check if the length is 100
    if get_products_buffer_len() == 100:
        # Get The list to loop on it
        products_list  = get_products_buffer()
        for item in products_list:
            # The insert query
            self.cursor.execute('insert query')
        try:
            # Commit to DB the insertions quires 
            self.conn.commit()
            # Emty the list
            empty_products_buffer()
        except Exception, e:
            # Except the error

如果您不想循环，也可以使用executemany。

Answer 2

这不是scrapy选项，而是批量插入行的psycopg2选项。这个问题有你可以使用的选项： Psycopg2, Postgresql, Python: Fastest way to bulk-insert

Answer 3

我不知道scrapy以及它是否内置了任何类型的Queue功能，但也许你可以将你的查询从scrapy推送到standard python Queue然后让消费者监视队列，一旦有100个项目，就全部执行，这可以通过psycopg2完成（参见psycopg2: insert multiple rows with one query）。

您可以执行类似

的操作

queryQueue = Queue()
def queryConsumer(){
    while True:
    if queryQueue.qsize()==100:
        queries=[queryQueue.get() for i in range(100)]            
        #execute the 100 queries
}
t = Thread(target=queryConsumer)
t.daemon = True
t.start()

你可以通过scrapy方法调用

queryQueue.put(myquery)

将项目推送到队列中。

Answer 4

我的建议是，

在你的蜘蛛本身你可以做到这一点，根本不需要写入管道。

使用psycopg2在spider中创建postgres数据库连接。

psycopg2.connect(database="testdb", user="postgres", password="cohondob", host="127.0.0.1", port="5432")
connection.cursor()

在解析函数中创建一个元组，并将报废的项目附加到该列表中。

如果达到100，则插入db然后将其提交到db。

例如：

            x = ({"name":"q", "lname":"55"},
            {"name":"e", "lname":"hh"},
            {"name":"ee", "lname":"hh"})
cur.executemany("""INSERT INTO bar(name,lname) VALUES (%(name)s, %(lname)s)""", x)

Answer 5

我刚刚编写了一个scrapy扩展来将已删除的项目保存到数据库中。 scrapy-sqlitem

它非常易于使用。

pip install scrapy_sqlitem

使用SqlAlchemy表定义Scrapy项目

from scrapy_sqlitem import SqlItem

class MyItem(SqlItem):
    sqlmodel = Table('mytable', metadata
        Column('id', Integer, primary_key=True),
        Column('name', String, nullable=False))

编写你的蜘蛛并继承自SqlSpider

from scrapy_sqlitem import SqlSpider

class MySpider(SqlSpider):
   name = 'myspider'

   start_urls = ('http://dmoz.org',)

   def parse(self, response):
        selector = Selector(response)
        item = MyItem()
        item['name'] = selector.xpath('//title[1]/text()').extract_first()
        yield item

将DATABASE_URI和chunksize设置添加到settings.py。

DATABASE_URI = "postgresql:///mydb"

DEFAULT_CHUNKSIZE = 100

CHUNKSIZE_BY_TABLE = {'mytable': 100, 'othertable': 250}

创建表格，你就完成了！

http://doc.scrapy.org/en/1.0/topics/item-pipeline.html#activating-an-item-pipeline-component

http://docs.sqlalchemy.org/en/rel_1_1/core/tutorial.html#define-and-create-tables

Scrapy管道中的批处理/批量SQL插入[PostgreSQL]

5 个答案: