如何在Node.js中为Amazon产品详细信息创建经过身份验证的刮刀？

Question

我正在创建一个脚本，用于抓取所有从亚马逊发货的商品并通知我。

需要进行身份验证才能查看产品。 我已经尝试通过“请求”发送一个帖子请求，由于需要cookie和额外的参数而返回错误。

如果身份验证有效，那么使用cheerio会很容易获取数据。

有没有人知道我们如何成功验证？

电子邮件中的链接是：https://www.amazon.com/ap/signin/185-3199906-8918341?_encoding=UTF8&accountStatusPolicy=P1&openid.assoc_handle=usflex&openid.claimed_id=http%3A%2F%2Fspecs.openid.net%2Fauth%2F2.0%2Fidentifier_select&openid.identity=http%3A%2F%2Fspecs.openid.net%2Fauth%2F2.0%2Fidentifier_select&openid.mode=checkid_setup&openid.ns=http%3A%2F%2Fspecs.openid.net%2Fauth%2F2.0&openid.ns.pape=http%3A%2F%2Fspecs.openid.net%2Fextensions%2Fpape%2F1.0&openid.pape.max_auth_age=0&openid.return_to=https%3A%2F%2Fwww.amazon.com%2Fgp%2Fyour-account%2Forder-details%2F185-3199906-8918341%3Fie%3DUTF8%26eoid%3D1%253A1%253Arv%252FYwjiYmnOZY9MYltVnDyf2l6p5pMkMx9deoUeiiw%252FKpPrtZrWqs5l1GGQPVb%2520qaJqHXyCkPEpLZnmDZamKkVDWhtu3dKlW5Gx7Uvxtzs0xlPJ25vduijJrPpHt79P%2520RRZHopOtAyOP4s82VLoeeiDQgq%2520FCP540H%2520UYAV7goZQxB29WObWAVh8VveTwEeWenY3sTx8ZI9%252FBLM2BSqS3IUIURW8mzMnAB9t7wglUiAcoR%252FcUhSIx%25201eNV4MspVAp7fLkeANag72BxgmsjFfRhnsxfji1VhZXLawqFeK9SBnvbUfkNWUC%2520IXWh6VcuoStBG3x%2520ZUkzGHw1ORi4J%2520Hg%253D%253D%26orderID%3D105-6914722-5422613%26ref_%3DTE_simp_on_T1&pageId=webcs-yourorder&showRmrMe=1

Answer 1

您无法保证登录页面的任何表单输入值。因此，您还必须抓取登录表单。

以下是流程：

1. 在您的服务器中，对您问题中的网址提出请求
2. 使用Cheerio解析DOM并从＆＃34;＃ap_signin_form＆＃34;中获取所有表单字段。
3. 添加您的数据（用户名/密码），然后向表单操作发出POST请求＆＃34; https://www.amazon.com/ap/signin＆＃34; （这也应该被删除）

希望这会让你通过登录界面。您需要确保所有未来的请求都通过登录设置的cookie。

现在这种事情明显不利于大多数TOS，所以我经常要求谨慎做这件事。