访问网页时获取所有URL列表

Question

访问网页时是否有任何web服务工具可以在Excel中列出网址？

例如，如果我去任何包含Page 1-2-3-4-Next Now的网站，如果我点击任何页面，那么该特定页面的URL将被列出或列在表格中。

我想从网站抓取一些数据，因此我需要网址列表。

Answer 1

您可以在firefox中使用selenium IDE插件，以记录您所需的操作。将根据您的选择生成自动代码（java / perl / python / php）。您可以保存代码并修改代码以获取URL并按照您的喜好继续操作。这是你的问题的答案..我个人不推荐你这样做的方法

Answer 2

您可以使用Site Visualizer执行此操作。创建新项目，单击开始按钮以爬网。其所有页面都将列在 Pages 表中（位于主窗口的顶部）。单击页面以使其所有链接都列在链接表中（位于窗口底部）：