我正在使用ImageMagick生成图片的网站上工作。该网站每分钟会收到数百个请求,使用ImageMagick执行此操作会导致网站崩溃。
所以我们实现了Redis和Php-resque来在单独的服务器上在后台生成ImageMagick,这样它就不会崩溃我们的主服务器。问题是它仍然需要很长时间才能完成图像。用户可能希望等待最多2-3分钟的图像请求,因为服务器忙于处理这些图像。
我不确定会给你什么信息,但我更需要建议。我想如果我们可以减少ImageMagick请求的初始处理时间,那么显然这将有助于加快我们可以处理的图像数量。
以下是我们使用的ImageMagick脚本示例:
convert -size 600x400 xc:none \( ".$path."assets/images/bases/base_image_69509021433289153_8_0.png -fill rgb\(255,15,127\) -colorize 100% \) -composite \( ".$path."assets/images/bases/eye_image_60444011438514404_8_0.png -fill rgb\(15,107,255\) -colorize 100% \) -composite \( ".$path."assets/images/markings/marking_clan_8_marking_10_1433289499.png -fill rgb\(255,79,79\) -colorize 100% \) -composite \( ".$path."assets/images/bases/shading_image_893252771433289153_8_0.png -fill rgb\(135,159,255\) -colorize 100% \) -compose Multiply -composite \( ".$path."assets/images/highlight_image_629750231433289153_8_0.png -fill rgb\(27,35,36\) -colorize 100% \) -compose Overlay -composite \( ".$path."assets/images/lineart_image_433715161433289153_8_0.png -fill rgb\(0,0,0\) -colorize 100% \) -compose Over -composite ".$path."assets/generated/queue/tempt_preview_27992_userid_0_".$filename."_file.png
我的理论是,这需要相当长时间的原因是由于图像着色的过程。有没有办法优化这个过程?
任何有处理大量图像搜索过程的经验的人,或者可以看到一些非常简单的方法来优化我们的请求,我会非常感激。
谢谢:)
答案 0 :(得分:2)
你的命令实际归结为:
convert -size 600x400 xc:none \
\( 1.png -fill rgb\(x,y,z\) -colorize 100% \) -composite \
\( 2.png -fill rgb\(x,y,z\) -colorize 100% \) -composite \
\( 3.png -fill rgb\(x,y,z\) -colorize 100% \) -composite \
\( 4.png -fill rgb\(x,y,z\) -colorize 100% \) -composite \
\( 5.png -fill rgb\(x,y,z\) -colorize 100% \) -composite \
\( 6.png -fill rgb\(x,y,z\) -colorize 100% \) -composite \
result.png
我的想法如下:
第1点:
空白画布上的第一个-composite
似乎毫无意义 - 大概1.png
是一个600x400的PNG,具有透明度,因此您的第一行可以避免合成操作,并通过更改为16来节省处理时间:
convert -background none 1.png -fill ... -colorize 100% \
\( 2.png ..
\( 3.png ...
第2点
我把你的命令的等价物放到一个循环中并进行了100次迭代,需要15秒。然后我将所有PNG文件的读取更改为MPC
文件的读取 - 或Magick Pixel Cache文件。这将处理时间减少到不到10秒,即减少了33%。 Magic Pixel Cache只是一个预解压缩的预解码文件,无需任何CPU工作即可直接读入内存。您可以在目录更改时预先创建它们,并将它们与PNG文件一起存储。你要做一个
convert image.png image.mpc
您将获得image.mpc
和image.cache
。然后你只需将代码更改为:
convert -size 600x400 xc:none \
\( 1.mpc -fill rgb\(x,y,z\) -colorize 100% \) -composite \
\( 2.mpc -fill rgb\(x,y,z\) -colorize 100% \) -composite \
\( 3.mpc -fill rgb\(x,y,z\) -colorize 100% \) -composite \
\( 4.mpc -fill rgb\(x,y,z\) -colorize 100% \) -composite \
\( 5.mpc -fill rgb\(x,y,z\) -colorize 100% \) -composite \
\( 6.mpc -fill rgb\(x,y,z\) -colorize 100% \) -composite \
result.png
第3点
很遗憾你还没有回答我的问题,但是如果你的资产目录不是太大,你可以在系统启动时把它(或上面的MPC等价物)放到RAM磁盘上。
第4点
你绝对应该并行 - 这将产生最大的收益。使用GNU Parallel非常简单 - example here。
如果您使用REDIS,它实际上比这更容易。只需LPUSH
您的MIME编码图像进入REDIS列表,如下所示:
#!/usr/bin/perl
################################################################################
# generator.pl <number of images> <image size in bytes>
# Mark Setchell
# Base64 encodes and sends "images" of specified size to REDIS
################################################################################
use strict;
use warnings FATAL => 'all';
use Redis;
use MIME::Base64;
use Time::HiRes qw(time);
my $Debug=0; # set to 1 for debug messages
my $nargs = $#ARGV + 1;
if ($nargs != 2) {
print "Usage: generator.pl <number of images> <image size in bytes>\n";
exit 1;
}
my $nimages=$ARGV[0];
my $imsize=$ARGV[1];
# Our "image"
my $image="x"x$imsize;
printf "DEBUG($$): images: $nimages, size: $imsize\n" if $Debug;
# Connection to REDIS
my $redis = Redis->new;
my $start=time;
for(my $i=0;$i<$nimages;$i++){
my $encoded=encode_base64($image,'');
$redis->rpush('images'=>$encoded);
print "DEBUG($$): Sending image $i\n" if $Debug;
}
my $elapsed=time-$start;
printf "DEBUG($$): Sent $nimages images of $imsize bytes in %.3f seconds, %d images/s\n",$elapsed,int($nimages/$elapsed);
然后运行多个工作人员,他们都坐在那里做BLPOP的工作
#!/usr/bin/perl
################################################################################
# worker.pl
# Mark Setchell
# Reads "images" from REDIS and uudecodes them as fast as possible
################################################################################
use strict;
use warnings FATAL => 'all';
use Redis;
use MIME::Base64;
use Time::HiRes qw(time);
my $Debug=0; # set to 1 for debug messages
my $timeout=1; # number of seconds to wait for an image
my $i=0;
# Connection to REDIS
my $redis = Redis->new;
my $start=time;
while(1){
#my $encoded=encode_base64($image,'');
my (undef,$encoded)=$redis->blpop('images',$timeout);
last if !defined $encoded;
my $image=decode_base64($encoded);
my $l=length($image);
$i++;
print "DEBUG($$): Received image:$i, $l bytes\n" if $Debug;
}
my $elapsed=time-$start-$timeout; # since we waited that long for the last one
printf "DEBUG($$): Received $i images in %.3f seconds, %d images/s\n",$elapsed,int($i/$elapsed);
如果我按上述方法运行一个生成器进程并生成100,000个200kB的图像,并在我合理的规格iMac上用4个工作进程读出它们,则需要59秒,或者大约1,700个图像/秒可以通过REDIS
答案 1 :(得分:0)
正在一次处理一个队列?您是否尝试过并行作业,这将并行运行,以便在这种情况下同时处理多个元素?