" Scrapy爬行"不能从spiders文件夹运行的项目文件夹中工作

时间:2018-04-11 04:50:33

标签: python scrapy google-cloud-platform scrapyd scrapinghub

我是Python的新手。我试过到处寻找解决方案,但无法通过。

我制作了一个Scrapy项目,由于项目结构,蜘蛛默认存储在/spiders目录中。

问题:我们通常从/project目录中运行抓取工具,其中包含/spiders。包含这段代码后问题就出现了:

def implicit():
    from google.cloud import storage

    # If you don't specify credentials when constructing theclient,the
    # client library will look for credentials in the environment.
    storage_client = storage.Client()

# Make an authenticated API request
    buckets = list(storage_client.list_buckets())

import os
os.environ["GOOGLE_APPLICATION_CREDENTIALS"] = "remote url of the json file"

如果我从/project目录抓取蜘蛛并抛出错误,则上面的代码不会捕获远程文件

  

"找不到文件json_filename.json。"

但是当我从/project/spider目录抓取蜘蛛时,它运行顺利,没有任何错误。

我想我在这里缺少一些基础知识,与爬行位置或环境变量有关。 谢谢大家。

0 个答案:

没有答案