我使用Gearman时出现问题,当我通过Gearman PHP扩展程序发送大量有效负载时,将任务传输给工作人员的速度很慢。事实上,我们没有发现有效载荷那么大(它是30MB)。一切(PHP,Gearman,节点)暂时在本地运行,因此网络访问不是瓶颈。
PHP脚本
这是PHP客户端:
ini_set('memory_limit', '1G');
$client= new GearmanClient();
$client->addServer('127.0.0.1', '4730');
$schema = file_get_contents('schema.json');
$data = file_get_contents('data.json');
$gearmanData = [
'schema' => $schema,
'data' => $data
];
echo "Encoding in JSON the payload\n";
$gearmanDataString = json_encode($gearmanData, JSON_FORCE_OBJECT);
echo "Sending job to Gearman\n";
// This line takes long to execute...
$result = $client->doNormal("validateJsonSchema", $gearmanDataString);
echo "Job finished\n";
var_dump($result);
这是我的nodejs工作者,它最终会做一些事情,但是为了证明工人代码不是问题是空的:
var gearmanode = require('gearmanode');
var worker = gearmanode.worker({host: '127.0.0.1' port: 4730});
worker.addFunction('validateJsonSchema', function (job) {
console.log('I will do something');
job.workComplete('Toasty!');
});
我在后台启动我的工作人员,然后运行我的客户端,并在执行$client->doNormal
时(在输出向Gearman发送作业之后)冻结30秒左右,然后结束通过PHP的var_dump输出string(7) "Toasty!"
。所以它有效,但它的处理时间很长。
此外,如果我减少有效负载的大小(data.json),则需要的时间更少,因此有效负载大小似乎很重要。
我尝试用PHP编写同一个worker,结果相同:
$worker= new GearmanWorker();
$worker->addServer('127.0.0.1', '4730');
$worker->addFunction("validateJsonSchema", "validateJsonSchema");
while ($worker->work());
function validateJsonSchema($job)
{
return 'ToastyPHP!';
}
更新
使用node.js客户端,执行与PHP相同的操作,执行速度更快(~3.5秒)。我在PHP版本上做错了什么,或者我错过了一些配置以使其更快?
我的node.js客户端:
var gearmanode = require('gearmanode');
var fs = require('fs');
var start = Date.now();
var client = gearmanode.client();
schema = fs.readFileSync('schema.json', 'utf8');
data = fs.readFileSync('data.json', 'utf8');
var submitData = JSON.stringify({ "data": data, "schema": schema });
// Runs much faster than PHP
var job = client.submitJob('validateJsonSchema', submitData, {background: false});
job.on('complete', function() {
console.log('RESULT >>> ' + job.response);
client.close();
var end = Date.now();
console.log(end-start + ' milliseconds'); // Always shows around 3500 milliseconds
});
任何线索为什么会发生这种情况? Gearman是否能够处理这种有效载荷?在我的书中,30MB并不是那么大。
答案 0 :(得分:1)
检查此代码是否适合您,花了很少的时间来完成工作。
worker.php :
echo "Starting\n";
$gmworker = new GearmanWorker();
# Add default server (localhost).
$gmworker->addServer('127.0.0.1', '4730');
$gmworker->addFunction("jsonValid", "jsonValid");
print "Waiting for job...\n";
while ($gmworker->work()) {
if ($gmworker->returnCode() != GEARMAN_SUCCESS) {
echo "return_code: " . $gmworker->returnCode() . "\n";
break;
}
}
function jsonValid($job)
{
return 'ToastyPHP!';
}
Client.php
ini_set('memory_limit', '1G');
$client = new GearmanClient();
$client->addServer('127.0.0.1', '4730');
$client->setCompleteCallback("complete");
$time = time();
echo "<pre>Sending job..." . "\n";
$schema = file_get_contents('AllSets.json');
$data = file_get_contents('AllSets.json');
$gearmanData = Array(
'schema' => $schema,
'data' => $data
);
$gearmanDataString = json_encode($gearmanData, JSON_FORCE_OBJECT);
$client->addTask("jsonValid", $gearmanDataString, null, 'Json');
$client->runTasks();
echo "Job finished\n";
$endtime = time();
print "Completed in " . ($endtime - $time) . ' seconds' . "\n";
function complete($task)
{
print "Unique : " . $task->unique() . "\n";
print "Data : " . $task->data() . "\n";
}
我使用了addTask和runTasks方法而不是doNormal。对于要发送的json数据,我使用http://mtgjson.com/的AllSets.json文件大小为30Mb(总负载),作业在1秒内完成,并且在尝试大约200Mb的文件后花了4秒。