Scrapy中间件设置

Question

我正在尝试使用scrapy访问公共代理来获取一些数据。当我尝试运行代码时出现以下错误：

  

ImportError：加载对象'craiglist.middlewares.ProxyMiddleware'时出错：没有名为middlewares的模块

我使用以下代码创建了middlewares.py文件：

import base64
# Start your middleware class
class ProxyMiddleware(object):
    # overwrite process request
    def process_request(self, request, spider):
        # Set the location of the proxy
        request.meta['proxy'] = "http://124.200.36.150:8118"

settings.py：

DOWNLOADER_MIDDLEWARES = {
    'scrapy.contrib.downloadermiddleware.httpproxy.HttpProxyMiddleware': 110,
    'craiglist.middlewares.ProxyMiddleware': 100,
}

欢迎任何帮助。

Answer 1

使用此设置，您需要将middlewares.py一级移至craiglist包中。