Question

我开始学习Scrapy，但是立即出现错误Unknown command: crawl。我不知道为什么我要得到这个，但是在py Scrapy命令中我没有那个命令。我使用python 3.6和pycharm作为编辑器。

(venv) C:\Users\Pc\PycharmProjects\web skreper\venv\Scripts>scrapy crawl quotes
Scrapy 1.7.3 - no active project

Unknown command: crawl

Use "scrapy" to see available commands

(venv) C:\Users\Pc\PycharmProjects\web skreper\venv\Scripts>scrapy
Scrapy 1.7.3 - no active project

Usage:
  scrapy <command> [options] [args]

Available commands:
  bench         Run quick benchmark test
  fetch         Fetch a URL using the Scrapy downloader
  genspider     Generate new spider using pre-defined templates
  runspider     Run a self-contained spider (without creating a project)
  settings      Get settings values
  shell         Interactive scraping console
  startproject  Create new project
  version       Print Scrapy version
  view          Open URL in browser, as seen by Scrapy

这是我编写的基本代码：

import scrapy

class My_Scraper(scrapy.Spider):

    name = 'quotes'

    #url sajtova koje scrapujem
    start_urls = [
        'https://www.nekretnine.rs/'
        ]

    def parse(self, response):

        title = response.css('title').extract()

        yield {'title text': title}

Answer 1

您需要位于Scrapy文件夹中的项目文件夹中。

您当前正在尝试从C：\ Users \ Pc \ PycharmProjects \ web skreper \ venv \ Scripts运行命令

但是它应该类似于C：\ Users \ Pc \ PycharmProjects \ web skreper \ venv \ Scripts \ Scrapy \ My_Scraper

Answer 2

您必须从脚本文件夹退出，然后移至放置scrapy.cfg文件的项目目录。

从那里运行抓取抓取工具将起作用。

Answer 3

我知道这是一篇旧文章，但我也想贡献一个额外的实例，它可能会导致缺少抓取命令

如果您不小心删除了cfg文件，则抓取命令也会消失。

Scrapy没有命令“抓取”

3 个答案: