任何人都可以给我一个线索,每次当silenium爬虫运行时,经过一个小时的爬行,突然页面被重定向到主页面并且爬虫停止,但我把尝试抓住了。我认为,某些反爬虫的东西正在网页上实现,但不确定,如何识别它。
try {
for(int s=0;s<pagesURL.size();s++) {
searchWa(pagesURL.get(s));
}
printToConsole();
}
catch (Exception e){
if(e instanceof TimeoutException){
System.out.println("Timed out: " + e);
e.printStackTrace( );
}
else if(e instanceof UnhandledAlertException){
System.out.println("Strange error: " + e);
e.printStackTrace( );
}
else{
System.out.println("Error: " + e);
e.printStackTrace( );}
}