我正在Scrapy Cloud中运行定期蜘蛛,并将结果导出到AWS S3存储桶。我需要使用这些结果动态上传我的Wordpress表,并且我当前正在使用TablePress插件,该插件具有“导入表”选项,但它仅允许我每15分钟更新一次表。
当AWS S3文件更改时,是否有任何方法可以每5分钟或更长时间执行一次这些定期更新?
直接与Scrapinghub一起使用的Wordpress插件也可以解决我的问题,但是我已经搜索了但没有找到任何问题。
答案 0 :(得分:0)
使用JSON feed可能会更好-https://wordpress.org/plugins/json-content-importer/
答案 1 :(得分:0)
通过ScrapingHub上的Spider,您可以
item_scraped
方法发送Spider中的每一项spider_closed
方法在蜘蛛完成后发送所有物品当然,您会在您的网站中使用一个API来接收该数据
希望有帮助