Question

我正在使用的Scrapy Splash在我的本地机器上正常工作，但是当我在我的Ubuntu服务器上使用它时它会返回此错误。这是为什么？它是由内存不足引起的吗？

  File "/usr/local/lib64/python2.7/site-packages/twisted/internet/defer.py", line 1299, in _inlineCallbacks
    result = g.send(result)
  File "/usr/local/lib/python2.7/site-packages/scrapy/core/downloader/middleware.py", line 53, in process_response
    spider=spider)
  File "/usr/local/lib/python2.7/site-packages/scrapy_splash/middleware.py", line 387, in process_response
    response = self._change_response_class(request, response)
  File "/usr/local/lib/python2.7/site-packages/scrapy_splash/middleware.py", line 402, in _change_response_class
    response = response.replace(cls=respcls, request=request)
  File "/usr/local/lib/python2.7/site-packages/scrapy/http/response/text.py", line 50, in replace
    return Response.replace(self, *args, **kwargs)
  File "/usr/local/lib/python2.7/site-packages/scrapy/http/response/__init__.py", line 79, in replace
    return cls(*args, **kwargs)
  File "/usr/local/lib/python2.7/site-packages/scrapy_splash/response.py", line 33, in __init__
    super(_SplashResponseMixin, self).__init__(url, *args, **kwargs)
TypeError: __init__() got an unexpected keyword argument 'encoding'

更新

仅在将localhost用作SPLASH_URL

时才会发生

Answer 1

我使用确切的网址来解决它：

add()

任何localhost解决方案都不起作用。我认为这是Scrapy Splash中的一个错误。

<强>更新

事实证明，如果我关闭Crawlera，错误也就消失了。但随后它再现了另一个错误。最好不要在配置中使用localhost。

Answer 2

TypeError： init （）得到了一个意外的关键字参数＆＃39;编码＆＃39;

似乎你将某个地方传递给了类init（可能是实例创建）一个额外的参数＆＃39; encoding＆＃39;。试着调查一下。

Ubuntu服务器上的Scrapy Splash：得到了一个意想不到的关键字参数＆＃39;编码＆＃39;

更新

2 个答案: