所有突然的Silenium履带式停止

时间:2017-05-30 14:59:38

标签: java selenium

任何人都可以给我一个线索,每次当silenium爬虫运行时,经过一个小时的爬行,突然页面被重定向到主页面并且爬虫停止,但我把尝试抓住了。我认为,某些反爬虫的东西正在网页上实现,但不确定,如何识别它。

try {
            for(int s=0;s<pagesURL.size();s++) {
                searchWa(pagesURL.get(s));
            }
            printToConsole();
        }
        catch (Exception e){
            if(e instanceof TimeoutException){
                System.out.println("Timed out: " + e);
                e.printStackTrace( );
            }
            else if(e instanceof UnhandledAlertException){
                System.out.println("Strange error: " + e);
                e.printStackTrace( );
            }
            else{
                System.out.println("Error: " + e);
                e.printStackTrace( );}
        }

0 个答案:

没有答案