抓取，上传和通知

Question

我正在开发一个应用，该应用可以在外部网站上有新商品时立即向用户发送通知

当前，此过程为“手动”，我自己检查更新并发出通知。然后，我更新我的网站以显示新项目。

我正在尝试使用网络抓取工具在我的网站上运行以提取信息并将其显示在应用程序中，但即使是手动运行也是如此。

我可以使用任何工具来自动化此过程吗？

那么这将会：

1. 定期检查外部网站是否有更新。

2. 获取更改并更新我的网站（WordPress）

3. 向用户发送通知

Answer 1

我已经自动化了类似的东西（不包括WordPress部分）。 这也是一种用于监视网站上是否有新物品（公寓出租）的自动化工具：当有新公寓时，该自动化工具会通过手机向我发送通知。

作为自动化工具，我使用Easybots Studio （https://easybots.net）-简单，免费，具有我需要的所有功能，并且我可以编写自己的“机器人”

1。 HTML监控

简而言之，自动化解决方案看起来像：

• 经过15分钟
  • [HTML Bot]获取页面的HTML
    • [HTML机器人] GetAllBySelector（“。someHtmlElementClass”）（获取公寓列表中的所有html元素）
      • 获取新列表
        • Pushbullet Bot。在我的手机上发送通知

Click to see picture from the actual implementation in Easybots Studio

自动化基于它们的blog entry（“ monitoring a web site for fast-selling theater tickets”），在这里也可能会有所帮助。

因此，如果您走这条路，则需要浏览外部网站的HTML，并查看项目的列出方式。 HTML机器人可以通过“ SelectAllByXPath”或“ GetAllBySelector”获取所有项目。

2。 WordPress自动化

关于自动化WordPress部分-我找不到在其网站上执行该操作的机器人，但您可以开发自己的应用（WordPress具有REST API的可能性），甚至可以联系easybots支持人员以查看他们是否拥有这样的机器人正在开发中。

如果您是.Net开发人员-这是使用WordPress Rest API的起点：https://dev.to/yeisonpx/connecting-to-wordpress-using-c-5688

3。发送通知

在Easybots中，有一些可以用来发送电子邮件的Email bot，还有一些移动通知bot（pushbullet，pushover等）。 在问题中，没有指定需要哪种通知，但是使用Easybots应该很容易。

其他工具：WinAutomation，Automation Anywhere，UiPath ..