Question

我在MySQL表中有大约6600,000个域，我需要在所有域上运行爬虫，并在爬虫完成时更新行数= 1。

爬虫脚本在php中使用php crawler库这是脚本。

set_time_limit(10000);
        try{

            $strWebURL          =   $_POST['url'];
            $crawler    =   new MyCrawler();
            $crawler->setURL($strWebURL);
            $crawler->addContentTypeReceiveRule("#text/html#");
            $crawler->addURLFilterRule("#\.(jpg|jpeg|gif|png)$# i");
            $crawler->enableCookieHandling(true);
            $crawler->setTrafficLimit(1000 * 1024);
            $crawler->setConnectionTimeout(10);

            //start of the table
            echo '<table border="1" style="margin-bottom:10px;width:100% !important;">';
            echo '<tr>';
            echo '<th>URL</th>';
            echo '<th>Status</th>';
            echo '<th>Size (bytes)</th>';
            echo '<th>Page</th>';
            echo '</tr>';
            $crawler->go();
            echo '</table>';

            $this->load->model('urls');
            $this->urls->incrementCount($_POST['id'],'urls');

        }catch(Exception $e){

        }

$这 - ＆GT; urls-＆GT; incrementCount（）;仅更新行并标记计数列= 1

因为我有66M域名需要在我的服务器上运行cronjob 并且当cronjob在命令行上运行时我需要一个无头浏览器，所以我选择了phanjomjs 因为没有无头浏览器（phantomjs），爬虫无法按照我希望的方式工作

我遇到的第一个问题是从mysql db加载域并从js脚本运行crawler脚本我试过这个：

创建一个php脚本，以json形式返回域并从js文件中加载它并预取域并运行爬虫，但它不能很好地工作并且在某段时间后卡住
我试过的下一件事，我仍在使用的是创建一个python脚本直接从mysql db加载域，并从python脚本在每个域上运行幻像js脚本。

这是代码

import MySQLdb
import httplib
import sys
import subprocess
import json

args = sys.argv;

db = MySQLdb.connect("HOST","USER","PW","DB")
cursor = db.cursor()
#tablecount = args[1]
frm = args[1]
limit = args[2]

try:
    sql = "SELECT * FROM urls WHERE count = 0 LIMIT %s,%s" % (frm,limit)
    cursor.execute(sql)
    print "TOTAL RECORDS: "+str(cursor.rowcount)
    results = cursor.fetchall()
    count = 0;
    for row in results:
        try:
            domain = row[1].lower()
            idd = row[0]
            command = "/home/wasif/public_html/phantomjs /home/wasif/public_html/crawler2.js %s %s" % (domain,idd)
            print command
            proc = subprocess.Popen(command, shell=True, stdout=subprocess.PIPE)
            script_response = proc.stdout.read()
            print script_response
        except:
            print "error running crawler: "+domain

except:
    print "Error: unable to fetch data"
db.close()

设置限制以从数据库中选择域需要2个参数。

foreach域并使用子进程运行此命令

command = "/home/wasif/public_html/phantomjs /home/wasif/public_html/crawler2.js %s %s" % (domain,idd)
command
proc = subprocess.Popen(command, shell=True, stdout=subprocess.PIPE)
script_response = proc.stdout.read()
        print script_response

crawler2.js文件也需要2个参数1是域名，第二个是在爬虫完成时更新count = 1的id 这是crawler2.js

var args = require('system').args;
var address = '';
var id = '';
args.forEach(function(arg, i) {
    if(i == 1){
       address = arg;
    }

    if(i == 2){
        id = arg;
    }
});

address = "http://www."+address;

var page = require('webpage').create(),
server = 'http://www.EXAMPLE.net/main/crawler',
data = 'url='+address+'&id='+id;

console.log(data);

page.open(server, 'post', data, function (status) {
    if (status !== 'success') {
        console.log(address+' Unable to post!');
    } else {
        console.log(address+' : done');
    }
    phantom.exit();
});

它运行良好但是我的脚本在某个时候需要重新启动后会卡住并且日志显示没有错误

我需要优化此过程并尽可能快地运行抓取工具，任何帮助都将不胜感激

Answer 1

Web爬虫程序员就在这里。：）

你的python串行执行幻像。你应该并行完成。要做到这一点，执行幻像然后离开它，不要等待它。

在PHP中，就像这样：

exec("/your_executable_path > /dev/null &");

如果您不需要，请不要使用幻像。它渲染一切。＆GT;需要50MB内存。

优化cronjob上的爬虫脚本

1 个答案: