Question

我正在尝试运行自己的scrapy项目。该代码基于一本写得很好的书，作者提供了一个很棒的VM游乐场来运行本书中的脚本。在VM中，代码工作正常。但是，为了尝试自己练习，我收到了以下错误：

  File "(frozen importlib._bootstrap)", line 978, in _gcd_import
  File "(frozen importlib._bootstrap)", line 961, in _find_and_load
  File "(frozen importlib._bootstrap)", line 950, in _find_and_load_unlocked
  File "(frozen importlib._bootstrap)", line 655, in _load_unlocked
  File "(frozen importlib._bootstrap_external)", line 678, in exec_module
  File "<frozen importlib._bootstrap>", line 205, in _call_with_frames_removed
  File "C:\users\me\dictionary_com\spiders\basic.py", line 3, in <module>
    import urlparse
ModuleNotFoundError: No module named 'urlparse'

我最初在我的主外部机器上运行Python 3（在VM之外），似乎作者使用的是Python 2（仍然不知道Atom编辑器的片8是如何理解这一点的？）。在审核了urllib（python 2 and 3 extract domain from url和Heroku logs say "No module named 'urlparse'" when I use import urlparse以及https://github.com/FriendCode/gittle/issues/49）的Python 2/3问题后，我尝试了这些链接中提供的各种导入解决方案。我安装了Python 2.7（并通过$ python -V - ＆gt; python2.7.13验证它已设置为路径。我甚至尝试创建一个conda环境以确保它拉动python2.7.13。

我的spider.py脚本如下：

import datetime
import urlparse
import socket
import scrapy

from Terms.items import TermsItem
# you have to import processors from scrapy.loader to use it
from scrapy.loader.processors import MapCompose, Join
# you have to import Itemloader from scrapy.loader to use it
from scrapy.loader import ItemLoader


class BasicSpider(scrapy.Spider):
    name = "basic"
    allowed_domains = ["web"]
    start_urls = [i.strip() for i in open('lused.urls.txt').readlines()]

    def parse(self, response):
        l = ItemLoader(item=TermsItem(), response=response)

        # Load fields using XPath expressions
        l.add_xpath('term', '//h1[@class="head-entry"][1]/text()',
                    MapCompose(unicode.strip, unicode.title))
        l.add_xpath('definition', '//*[@class="def-list"][1]/text()',
                    MapCompose(unicode.strip, unicode.title))
        # Housekeeping fields
        l.add_value('url', response.url)
        l.add_value('project', self.settings.get('BOT_NAME'))
        l.add_value('spider', self.name)
        l.add_value('server', socket.gethostname())
        l.add_value('date', datetime.datetime.now())

        return l.load_item()

我的item.py脚本如下：

from scrapy.item import Item, Field


class TermsItem(Item):
    # Primary fields
    term = Field()
    definition = Field()
    # Housekeeping fields
    url = Field()
    project = Field()
    spider = Field()
    server = Field()
    date = Field()

在原子编辑器中，flake8 python检查器标记/下划线（引用：'导入但未使用）：

'import urlparse'
来自scrapy.loader.processors的
'导入MapCompose，加入'

但是，当我在Atom编辑器中打开作者提供的虚拟机中使用的几乎相同的代码时，它没有标记任何内容......并且代码运行!! ??

不幸的是，在尝试上述解决方案尝试后，我留下了相同的错误结果。我希望其他人遇到这个问题，或者根据上述细节发现我的错误。

Answer 1

我（部分）通过 Martijn Pietters 的赞赏方向解决了这个问题。 Scrapy正在扩展我的系统安装Python --Python 3.6--而不是我的conda环境python --Python 2.7。基于conda.io/docs/user-guide/tasks/manage-environments.htm‌l和miniconda安装文档，将miniconda添加到PATH可以使miniconda环境在其他环境之前被调用（如果我理解正确的话）。我似乎需要使用Anaconda终端来创建一个conda环境。我最初使用的是powershell终端（认为将miniconda添加到路径上就足够了）。希望我能够熟练地解释这一点，让其他人避免我的错误。

此致

urlparse：ModuleNotFoundError，可能是在Python2.7和conda下

1 个答案: