我是Python的新手。我试过到处寻找解决方案,但无法通过。
我制作了一个Scrapy项目,由于项目结构,蜘蛛默认存储在/spiders
目录中。
问题:我们通常从/project
目录中运行抓取工具,其中包含/spiders
。包含这段代码后问题就出现了:
def implicit():
from google.cloud import storage
# If you don't specify credentials when constructing theclient,the
# client library will look for credentials in the environment.
storage_client = storage.Client()
# Make an authenticated API request
buckets = list(storage_client.list_buckets())
import os
os.environ["GOOGLE_APPLICATION_CREDENTIALS"] = "remote url of the json file"
如果我从/project
目录抓取蜘蛛并抛出错误,则上面的代码不会捕获远程文件
"找不到文件json_filename.json。"
但是当我从/project/spider
目录抓取蜘蛛时,它运行顺利,没有任何错误。
我想我在这里缺少一些基础知识,与爬行位置或环境变量有关。 谢谢大家。