如何将数据从Scrapinghub动态上传到Wordpress?

时间:2019-03-26 15:32:11

标签: wordpress amazon-s3 scrapy scrapinghub

我正在Scrapy Cloud中运行定期蜘蛛,并将结果导出到AWS S3存储桶。我需要使用这些结果动态上传我的Wordpress表,并且我当前正在使用TablePress插件,该插件具有“导入表”选项,但它仅允许我每15分钟更新一次表。

当AWS S3文件更改时,是否有任何方法可以每5分钟或更长时间执行一次这些定期更新?

直接与Scrapinghub一起使用的Wordpress插件也可以解决我的问题,但是我已经搜索了但没有找到任何问题。

2 个答案:

答案 0 :(得分:0)

答案 1 :(得分:0)

通过ScrapingHub上的Spider,您可以

  1. 使用item_scraped方法发送Spider中的每一项
  2. 使用spider_closed方法在蜘蛛完成后发送所有物品

当然,您会在您的网站中使用一个API来接收该数据

希望有帮助