Question

我的MySQL数据库中有超过100万个域名，我想检查每个域名是否有效。我使用PHP CURL，我执行脚本，如果响应返回我将域标记为活动，如果它没有返回响应，我将其标记为无效。

这是代码：

function isDomainAvailable(){
    $domain = "http://www.".$this->input->post('url');
    $id = $this->input->post('id');

    $this->load->model('urls');
    if(!filter_var($domain, FILTER_VALIDATE_URL)){
           $this->urls->setActive($id,0);
           errorMessage('Invalid url');
    }

    $curlInit = curl_init($domain);
    curl_setopt($curlInit,CURLOPT_CONNECTTIMEOUT,10);
    curl_setopt($curlInit,CURLOPT_HEADER,true);
    curl_setopt($curlInit,CURLOPT_NOBODY,true);
    curl_setopt($curlInit,CURLOPT_RETURNTRANSFER,true);

    $response = curl_exec($curlInit);
    curl_close($curlInit);
    if ($response){
        $this->urls->setActive($id,1);
        successMessage('url is active');
    }
    $this->urls->setActive($id,0);
    errorMessage('url is not active');
}

我正在使用同步AJAX调用运行此脚本，以便它不断更新UI以确保脚本正在运行以及它当前处于哪个记录：

这是JQuery代码：

$(document).ready(function(){
$("#startCheck").click(function(){
    pages = 2313744;
    for(i=1;i<=pages;i++){
        url = "<?php echo base_url() ?>main/getDomains/"+i+"/1";

        $.ajax({
            type: "POST",
            url:url,
            data: $("#form").serialize(),
            dataType: 'json',
            timeout:30000,
            async: false,
            success: function (data) {
                if(data.data){
                    $(".recordstable").find("tr:gt(0)").remove();
                    $.each(data.data, function(i,v) {
                        row = '<tr>';
                        row += '<td>'+v.id+'</td>';
                        row += '<td>'+v.url+'</td>';
                        row += '<td class="active'+v.id+'">';
                        row += '<img src="<?php echo base_url(); ?>images/loading.gif" width="16" height="16" alt="Loading"></td>';
                        row += '</tr>';
                        $('.recordstable tr:last').after(row);


                                $.ajax({
                                    type: "POST",
                                    url:'<?php echo base_url() ?>main/isDomainAvailable',
                                    data: {url:v.url,id:v.id},
                                    dataType: 'json',
                                    timeout:10000,
                                    async: false,
                                    success: function (data) {
                                        if(data.success){
                                            $('.active'+v.id).html('<span class="label label-success">Yes</span>');
                                        }else{
                                            $('.active'+v.id).html('<span class="label label-danger">No</span>');
                                        }
                                    },
                                    error:function(data){
                                        $('.active'+v.id).html('<span class="label label-warning">Failed</span>');
                                        //alert("something went wrong, please try again.");
                                        $(".loader").hide();
                                    }
                                });





                    });
                }
            },
            error:function(data){
                alert("something went wrong, please try again.");
                $(".loader").hide();
            }
        });
        //break;
    }
    return false;
});

});

首先脚本在url上运行for循环，url上的每个请求返回50个域，当数据返回另一个AJAX调用时，发送请求到我上面发布的脚本，测试域并返回成功或失败的响应，然后脚本更新UI以显示它已完成检查，这是测试域

的网页的屏幕截图

enter image description here

此脚本的问题是运行速度非常慢，因为它在过去10小时内仅测试了4000个域我需要一种最快的方法来测试域名 PHP不是必需的。如果有任何可用于Python的解决方案，请分享

Answer 1

为何选择JavaScript和AJAX？用PHP完成所有工作。

而不是if (!$response)使用

if (curl_errno($curlInit)){
  errorMessage(curl_error($curlInit));
}

测试100多万个域的最快方法

1 个答案: