我非常迷失的一个地方是确定如何正确地向Scrapy Cloud和Scrapinghub提供API凭据,以便将解析的项目发送到Google Cloud。我目前正在将脚本存储在Github上,并将其自动更新到Scrapy Cloud。这是为了简化对我的项目的更新,并允许其他人看到我的项目进度。
然后出现的问题是如何正确提供API凭据以验证Google的Scrapy数据。我无法公开显示凭据(我学到的坏主意)。而且我不相信我可以手动将JSON文件上传到Scrapy Cloud并将项目存储在Github中。我只能将项目存储在Scrapy上,但这限制了项目上的协作。
是否有可能的解决方法?有人能解决这个问题吗?
谢谢!
编辑:
在阅读了一些晦涩的Google文档之后,我可以使用下面的初始帮助解决此问题。该过程如下所示:
我如何解决此问题的Github链接在这里:
https://github.com/cmattheson6/bill_votes/blob/master/senate_votes/pipelines.py