我试图在scrapy-proxy-pool中使用scrapy_user_agents。
我在我的settings.py中添加了这些行：
DOWNLOADER_MIDDLEWARES = {
'scrapy_proxy_pool.middlewares.ProxyPoolMiddleware': 610,
'scrapy_proxy_pool.middlewares.BanDetectionMiddleware': 620,
'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware': None,
'scrapy_user_agents.middlewares.RandomUserAgentMiddleware': 700,
}
运行蜘蛛时，出现以下错误消息：
ModuleNotFoundError：没有名为“ scrapy_user_agents”的模块
我删除了中间件中的代理行，但出现相同的问题，同样的错误消息。
您将在下面找到完整的日志错误：
2019-08-13 16:05:28 [scrapy.utils.log]信息：Scrapy 1.7.3已启动（机器人：scraping_entreprises） 2019-08-13 16:05:28 [scrapy.utils.log]信息：版本：lxml 4.4.1.0，libxml2 2.9.5，cssselect 1.1.0，parsel 1.5.2，w3lib 1.21.0，Twisted 19.7.0 ，Python 3.7.4（标签/v3.7.4：e09359112e，7月 8 2019，20:34:20）[MSC v.1916 64位（AMD64）]，pyOpenSSL 19.0.0（OpenSSL 1.1.1c 2019年5月28日），加密2.7，平台Windows-10-10.0.17134-SP0 2019-08-13 16:05:28 [scrapy.crawler]信息：覆盖的设置：{ ULES'：['scraping_entreprises.spiders']} 2019-08-13 16:05:28 [scrapy.extensions.telnet]信息：Telnet密码：0a7932c1a3ce188f 2019-08-13 16:05:28 [scrapy.middleware]信息：启用的扩展： ['scrapy.extensions.corestats.CoreStats'， 'scrapy.extensions.telnet.TelnetConsole'， 'scrapy.extensions.logstats.LogStats'] Deferred中未处理的错误： 2019-08-13 16:05:29 [扭曲]严重：延迟中未处理的错误： 追溯（最近一次通话）： 抓取中的文件“ c：\ users \ nino \ pycharmprojects \ scraping \ venv \ lib \ site-packages \ scrapy \ crawler.py”，行184 return self._crawl（crawler，* args，** kwargs） 文件“ c：\ users \ nino \ pycharmprojects \ scraping \ venv \ lib \ site-packages \ scrapy \ crawler.py”，第188行，在_crawl中 d = crawler.crawl（* args，** kwargs） 在unwindGenerator中，文件“ c：\ users \ nino \ pycharmprojects \ scraping \ venv \ lib \ site-packages \ twisted \ internet \ defer.py”，行1613 返回_cancellableInlineCallbacks（gen） 文件“ c：\ users \ nino \ pycharmprojects \ scraping \ venv \ lib \ site-packages \ twisted \ internet \ defer.py”，行1529，在_cancellableInlineCallbacks中 _inlineCallbacks（None，g，status）-- 文件“ c：\ users \ nino \ pycharmprojects \ scraping \ venv \ lib \ site-packages \ twisted \ internet \ defer.py”，第1418行，在_inlineCallbacks中 结果= g.send（结果） 抓取中的文件“ c：\ users \ nino \ pycharmprojects \ scraping \ venv \ lib \ site-packages \ scrapy \ crawler.py”，第86行 self.engine = self._create_engine（） 在create_engine中的第111行，文件“ c：\ users \ nino \ pycharmprojects \ scraping \ venv \ lib \ site-packages \ scrapy \ crawler.py” 返回ExecutionEngine（self，lambda：self.stop（）） 文件“ c：\ users \ nino \ pycharmprojects \ scraping \ venv \ lib \ site-packages \ scrapy \ core \ engine.py”，第69行，init self.downloader = downloader_cls（搜寻器） 初始化文件“ c：\ users \ nino \ pycharmprojects \ scraping \ venv \ lib \ site-packages \ scrapy \ core \ downloader_init.py”，第86行 self.middleware = DownloaderMiddlewareManager.from_crawler（crawler） 文件“ c：\ users \ nino \ pycharmprojects \ scraping \ venv \ lib \ site-packages \ scrapy \ middleware.py”，from_crawler中的第53行 返回cls.from_settings（crawler.settings，搜寻器） 文件“ c：\ users \ nino \ pycharmprojects \ scraping \ venv \ lib \ site-packages \ scrapy \ middleware.py”，第34行，位于from_settings中 mwcls = load_object（clspath） 在load_object中的文件“ c：\ users \ nino \ pycharmprojects \ scraping \ venv \ lib \ site-packages \ scrapy \ utils \ misc.py”，第46行 mod = import_module（模块） 导入模块中的文件“ C：\ Users \ Nino \ AppData \ Local \ Programs \ Python \ Python37 \ lib \ importlib_init.py”，行127 返回_bootstrap._gcd_import（name [level：]，包，级别） _gcd_import中的文件“”，第1006行 _find_and_load中的文件“”，第983行 _find_and_load_unlocked中的文件“”，第953行 _call_with_frames_removed中的文件“”，第219行 _gcd_import中的文件“”，第1006行 _find_and_load中的文件“”，第983行 _find_and_load_unlocked中的文件“”，行965 Builtins.ModuleNotFoundError：没有名为'scrapy_user_agents'的模块 2019-08-13 16:05:29 [扭曲]严重： 追溯（最近一次通话）： 文件“ c：\ users \ nino \ pycharmprojects \ scraping \ venv \ lib \ site-packages \ twisted \ internet \ defer.py”，第1418行，在_inlineCallbacks中 结果= g.send（结果） 抓取中的文件“ c：\ users \ nino \ pycharmprojects \ scraping \ venv \ lib \ site-packages \ scrapy \ crawler.py”，第86行 self.engine = self._create_engine（） 在create_engine中的第111行，文件“ c：\ users \ nino \ pycharmprojects \ scraping \ venv \ lib \ site-packages \ scrapy \ crawler.py” 返回ExecutionEngine（self，lambda：self.stop（）） 文件“ c：\ users \ nino \ pycharmprojects \ scraping \ venv \ lib \ site-packages \ scrapy \ core \ engine.py”，第69行，init self.downloader = downloader_cls（搜寻器） 初始化文件“ c：\ users \ nino \ pycharmprojects \ scraping \ venv \ lib \ site-packages \ scrapy \ core \ downloader_init.py”，第86行 self.middleware = DownloaderMiddlewareManager.from_crawler（crawler） 文件“ c：\ users \ nino \ pycharmprojects \ scraping \ venv \ lib \ site-packages \ scrapy \ middleware.py”，from_crawler中的第53行 返回cls.from_settings（crawler.settings，搜寻器） 文件“ c：\ users \ nino \ pycharmprojects \ scraping \ venv \ lib \ site-packages \ scrapy \ middleware.py”，第34行，位于from_settings中 mwcls = load_object（clspath） 在load_object中的文件“ c：\ users \ nino \ pycharmprojects \ scraping \ venv \ lib \ site-packages \ scrapy \ utils \ misc.py”，第46行 mod = import_module（模块） 导入模块中的文件“ C：\ Users \ Nino \ AppData \ Local \ Programs \ Python \ Python37 \ lib \ importlib_init.py”，行127 返回_bootstrap._gcd_import（name [level：]，包，级别） _gcd_import中的文件“”，第1006行 _find_and_load中的文件“”，第983行 _find_and_load_unlocked中的文件“”，第953行 _call_with_frames_removed中的文件“”，第219行 _gcd_import中的文件“”，第1006行 _find_and_load中的文件“”，第983行 _find_and_load_unlocked中的文件“”，行965 ModuleNotFoundError：没有名为“ scrapy_user_agents”的模块
答案 0 :(得分：1)
尝试再次卸载并安装该模块，以确保为您的python版本安装了该模块。
pip（卸载）安装ModuleName