标签： python scrapy
我建造了一个蜘蛛，可以使用刮板进行第二级刮削。首先，它从搜索结果中抓取个人资料网址。然后，它会从个人资料网址中抓取一些信息，例如网址，电话，联系人姓名。 现在，我想将其扩展到第三级，在第三级中，它从配置文件url中抓取weburl并获取电子邮件ID。
这里的一个挑战是电子邮件ID不在网站上可预测的位置。它可以在任何页面或部分中。因此，蜘蛛程序应该自己弄清楚电子邮件ID所在的页面并获取数据。
该如何进行？