使用Bash脚本并行化PHP进程?

时间:2011-07-06 04:30:20

标签: php bash parallel-processing

我想从bash脚本启动~10个php进程。当其中一个完成时,我希望bash脚本启动另一个php进程,并且无限期地继续,总是运行~10个php进程。

最简单的方法是什么?

每次启动的php文件都是相同的,但php进程会知道从数据库中提取新值,因此每次都会处理新数据。我需要启动的文件及其所有类都已用php编写。

4 个答案:

答案 0 :(得分:10)

似乎非常适合superivisord。以下配置将确保始终运行10个进程,并处理日志轮换,这也很方便。所有输出(包括stderr)都将写入/var/log/worker.log。使用“autorestart = true”,supervisord将在退出时立即替换子进程。

[program:worker]
command=php /path/to/worker.php
process_name=%(program_name)s_%(process_num)d
stdout_logfile=/var/log/%(program_name)s.log
redirect_stderr=true
stdout_capture_maxbytes=512MB
stdout_logfile_backups=3
numprocs=10
numprocs_start=0
autostart=true
autorestart=true

一旦你有了supervisor配置(通常是/etc/supervisord/conf.d),就可以使用supervisorctl作为启动和停止进程组的便捷方式。

$ supervisorctl start worker
...
$ supervisorctl stop worker
...
$ supervisorctl status
worker:worker_0              RUNNING    pid 8985, uptime 0:09:24
worker:worker_1              RUNNING    pid 10157, uptime 0:08:52
...
worker:worker_9              RUNNING    pid 12459, uptime 0:08:31

答案 1 :(得分:2)

你可以使用GNU Parallel,按照here描述的方式将管理的图像列表管理到parallel

答案 2 :(得分:1)

你可以使用这样的东西。使用一个文件启动10(仅运行一次),每个文件的底部可以在完成时重新启动。

/** 
 * Asynchronously execute/include a PHP file. Does not record the output of the file anywhere.  
 *
 * @param string $filename      file to execute, relative to calling script (or root?)
 * @param string $options       (optional) arguments to pass to file via the command line
 */ 
function asyncInclude($filename, $options = '') {
    exec("/path/to/php -f {$filename} {$options} >> /dev/null &");
}

答案 3 :(得分:0)

jcomeau@intrepid:/tmp$ cat test.sh
#!/bin/sh
set -m  # monitor mode
task="php-cgi /tmp/sleep.php"
function do_task {
 $task >/dev/null &
 echo -n spawned $! ' ' >&2
}
trap do_task SIGCHLD
for i in $(seq 1 10); do
 do_task
done
while true; do
 wait
done

jcomeau@intrepid:/tmp$ cat sleep.php
<?php sleep(3); ?>