收集被抓页面的网址

Question

有没有办法收集被抓取的网页的网址？ 无论是作为链接列还是更好的列，是否可以将网址附加到已删除的图像或文本中？

Answer 1

这与您下载已抓取数据时获得的源页面网址不一样吗？

如果您要查找的是您正在访问的所有链接，则可以使用高级抓取工具设置中的保存日志功能。这将生成一个TSV文件，我建议您在电子表格中查看。此文件可让您查看所有已转换的链接，失败的链接，阻止的链接等。