简单的网络爬虫/刮刀交易

Question

为了娱乐和利润，我想实现以下内容：

1. 计划或手动触发的登录我所有银行帐户的流程
2. 流程了解银行网站结构，并通过“返现/合作伙伴交易”页面
3. 所有交易信息都在一个地方以一种格式收集
4. 当我要买东西时，我可以很快看到我的卡片是否有特别优惠。所以我可以用提供最优惠价格的卡付款。理想情况下，这应该发生在我的Android手机上。但这并不意味着一个独立的应用程序，例如，你可以在电子邮件或googledoc或其他任何内容中搜索。

有关实施的任何想法？不要限制自己。建议疯狂的事情，只要他们有效。

PS我确实在寻找一个提供类似功能的现有网站，但他们似乎都专注于卡片而不是商店的特定交易。

Answer 1

根据银行网站的不同，您的代码可能需要能够执行JavaScript才能与之交互。看一下CasperJS的网页抓取部分。