一次运行多个蜘蛛并将已删除的数据保存在mongodb中

Question

您好我正在尝试一次运行多个蜘蛛并将已删除的数据保存在mongodb中但是收到错误

my code(whole.py): https://pastebin.com/Aaq1cXMs

items.py: https://pastebin.com/KxnTqjH1

settings.py : https://pastebin.com/2v78xBV8

pipelines.py : https://pastebin.com/TREJMmap

每当我这样做：python whole.py，我收到此错误：

  C:\Python27\virtual\uomscrapbot\uomscrapbot\spiders>python whole.py
  Traceback (most recent call last):
  File "whole.py", line 2, in <module>
  from uomscrapbot.items import UomscrapbotItem
  ImportError: No module named uomscrapbot.items

我哪里出错？

Answer 1

尝试从uomscrapbot目录运行脚本。喜欢这个

C：\ Python27 \虚拟\ uomscrapbot \的 uomscrapbot ＆GT; python spiders / whole.py

修改

检查python的系统路径

import sys

print sys.path

您可以在sys路径列表中找到 C：\ Python27 \ virtual \ uomscrapbot \ uomscrapbot \ spiders 。这意味着您需要将 C：\ Python27 \ virtual \ uomscrapbot \ uomscrapbot 添加到系统路径，然后您可以像import uomscrapbot一样进行访问。

修改 whole.py 并在上面添加以上导入uomscrapbot

import sys
sys.path.append('C:\Python27\virtual\uomscrapbot')
import uomscrapbot

或者您可以使用相对导入，即：from .. import uomscrapbot 检查this链接以获取模块和相对导入。