当我转到this webpage时，我看到带有文字的绿色按钮＆＃34;信息公开＆＃34;。我的任务是下载此绿色按钮的所有链接。所以，如果有十个按钮，我需要所有十个链接。
但是我找不到文字＆＃34;信息公开＆＃34;当我在Chrome中下载页面时。我怀疑执行了一些Javascript来下载与＆＃34;信息公开＆＃34;相关的信息。实际上，当我使用Chrome检查绿色按钮时，我发现在我下载的HTML文件中找不到的信息。
如何找到链接的位置？
答案 0 :(得分：1)
您有两个基于JavaScript的选项：
a）使用像Phantom.js这样的无头浏览器来抓取链接的网站，加载JavaScript的内容应该没有问题。如果您想要自动化抓取（例如每天运行并在某处发布链接），这将是解决方案。
b）更简单但不自动：使用Chrome控制台中的jQuery构建选择器以获取所有链接。例如，这段代码将为您提供Stack Overflow右侧黄色社区框的链接：
$('.community-bulletin a').each(function(){console.log($(this).attr('href'))})