我正在尝试从网页中删除一些信息。我的问题是我得到的回报不包含我要找的东西。
如果我检查网络的源代码,我会找到一个空白部分
<section id="player-controller">
</section>
但是,如果我检查我想要数据的元素,它们会出现在那个部分
中因为它是动态生成的,所以我尝试使用HTMLUnit,但我仍然无法得到它。也许我正在以错误的方式看待这个问题。
有什么方法可以用HTMLUnit获取代码,还是应该使用其他工具?
解决
通过使用HTMLUnit并在打印页面之前使进程停止一段时间,我得到它来打印缺少的内容
WebClient webclient = new WebClient();
HtmlPage currentPage = webclient.getPage("https://www.dubtrack.fm/join/chilloutroom");
Thread.sleep(2000);
System.out.println(currentPage.asXml());
答案 0 :(得分:0)
如果在首次加载时检查页面文本,则尚未加载动态内容。 callScraper.html中的javascript将调用另一个页面,然后等待两秒钟,然后再读取HTML元素的内容。时机在这里可能很棘手。我希望以下代码会有所帮助。
callScraper.html
<!DOCTYPE html>
<head>
<title>Call test for scraping</title
<meta charset="UTF-8" />
<script>
var newWindow;
var contents;
function timed() {
contents.value = contents.value + "\r\n" +"function timed started" + "\r\n";
contents.value = contents.value + "\r\n" + newWindow.document.getElementById("player-controller").innerHTML;
}
function starter() {
// alert("Running starter");
contents = document.getElementById("contents");
newWindow = window.open("scraper.html");
contents.value = contents.value + "\r\nTimer started\r\n";
setTimeout(timed, 2000);
}
window.onload=starter;
</script>
</head>
<body>
<p>This will open another page and then diplay an element from that page.</p>
<form name="reveal">
<textarea id="contents" cols="50" rows="50"></textarea>
</form>
</body>
</html>
scraper.html
<!DOCTYPE html>
<head>
<title>Test for scraping</title>
<meta charset="UTF-8" />
<script>
var section;
function starter() {
section = document.getElementById("player-controller");
// alert(":"+section.innerHTML+";");
section.innerHTML = "<p>inner text</p>";
// alert(":" +section.innerHTML + ":");
}
window.onload = starter;
</script>
</head>
<body>
<p>See http://stackoverflow.com/questions/37513393/scrapping-data-from-webpage-java-htmlunit</p>
<section id="player-controller">
</section>
</body>
</html>
答案 1 :(得分:-1)
您可以尝试jsoup
检查我想要数据的元素,它们出现在动态生成的那个部分
中
API允许使用最好的DOM,CSS和类似jquery的方法来提取和操作数据。在数据加载AJAX之前,您可能需要执行一些操作。