我一直在尝试使用Scrapy进行网页抓取，我有兴趣从Whatsapp上的所有聊天中检索所有短信，以用作机器学习项目的培训数据。我知道有网站阻止网络抓取工具/抓取工具，所以我想知道是否可以使用Scrapy来获取这些消息，如果不可能，我可以使用哪些替代方案？ 我知道我可以点击每个聊天的“电子邮件聊天”选项，但如果我想获取大量数据，这不是可行的，不仅仅是来自我自己的聊天，而是来自其他愿意让我们聊天的人我用他们的聊天项目。
答案 0 :(得分：2)
我认为WhatsApp不会阻止抓取工具和抓取工具。您只能访问您的web.whatsapp.com。这是你的消息，你将如何处理你的消息。当我编写代码来读/写WhatsApp消息时，我使用了Selenium WebDriver，它可以完全自动化任何浏览器操作。它对WhatsUpp来说太稳定了。这不是完全自动化，是二维码的过程。 如果按F12并转到Web浏览器中的“网络”选项卡，您会注意到里面有消息的XHR数据包。在滚动或打开人员期间加载新消息时，您可以看到它。它看起来像字节数据。所以我认为你不能为此编写Scrapy代码。