在cron下运行时卷曲崩溃

时间:2012-04-01 22:59:59

标签: perl http ubuntu curl cron

我有一个非常古怪的问题,我已经用Google搜索了这个,并且不能为我的生活找到答案。我是一个编程的新手(2年),如果这是明显的,或者我没有提供足够的细节,那就很抱歉

问题是...... 当我在while循环中第五次调用它时(从root的cron运行时),curl崩溃了。 当我在登录时手动运行所述while循环(大约50次迭代)时,卷曲很好。

我从cron运行一个bash脚本 bash脚本运行perl脚本 perl脚本在while循环中调用curl 在此while循环的第5次迭代中,调用curl并崩溃(无输出)

  • 我以root身份运行cron(crontab -u root / path / to / the / crontab / file)
  • 我不认为这是基于环境的,因为它运行良好4次
  • 如果我在4次尝试结束while循环并再次启动它,它仍然会失败,所以我认为问题不在于while循环。
  • 这个确切的脚本在我运行Ubuntu桌面的旧服务器上工作正常(我现在在Ubuntu服务器10.04上)
  • 我认为这是curl和cron之间的问题。

崩溃线看起来像这样(vars填写)

$err = system("/usr/bin/curl -f -v -s -r "36155357-36259993,36790101-37194555,53623979-53745261" http://nomads.ncep.noaa.gov/pub/data/nccf/com/gfs/prod/gfs.2012040100/master/gfs.t00z.mastergrb2f21 -o /root/Desktop/getGFS_uploadGFS/GFS/windvect/gfs.t00z.mastergrb2f21.tmp");

我现在完全难过了,如果有人有任何想法,我会非常感激。下面是while循环(崩溃点突出显示在底部附近)。

while ($fhr <= $hr1) {
   if ($fhr <= 9) { $fhr="0$fhr"; }
   $url = $URL;
   $url =~ s/\$FHR/$fhr/g;
   $url =~ s/\${FHR}/$fhr/g;
   $file = $url;
   $file =~ s/^.*\///;

   #
   # read the inventory
   #    $line[] = wgrib inventory,  $start[] = start of record (column two of $line[])
   #

   if ($windows eq 'yes') {
      $err = system("$curl -f -s $url$inv -o $OUTDIR/$file.tmp");
      $err = $err >> 8;
      if ($err) {
          print STDERR "error code=$err,  problem reading $url$inv\n";
         sleep(10);
         exit(8);
      }
  open (In, "$OUTDIR/$file.tmp");
   }
   else {
      open (In, "$curl -f -s $url$inv |");
   }

   $n=0;
   while (<In>) {
      chomp;
      $line[$n] = $_;
      s/^[^:]*://;
      s/:.*//;
      $start[$n] = $_;
      $n++;
   }
   close(In);
   if ($n == 0) {
       print STDERR "Problem reading file $url$inv\n";
       sleep(10);
       exit(8);
   }

   #
   # find end of record: $last[]
   #

   $lastnum = $start[$n-1];
   for ($i = 0; $i < $n; $i++) {
      $num = $start[$i];
      if ($num < $lastnum) {
         $j = $i + 1;
         while ($start[$j] == $num) { $j++; }
         $last[$i] = $start[$j] - 1;
      }
      else {      
         $last[$i] = '';
      }
   }

   if ($action eq 'inv') {
      for ($i = 0; $i < $n; $i++) {
         print "$line[$i]:range=$start[$i]-$last[$i]\n";
      }
      exit(0);
   }

   #
   # make the range field for Curl
   #

   $range = '';
   $lastfrom = '';
   $lastto = '-100';
   for ($i = 0; $i < $n; $i++) {
      $_ = $line[$i];
      if (/$LEVS/i && /$VARS/i) {
         $from=$start[$i];
         $to=$last[$i];

         if ($lastto + 1 == $from) {
            $lastto = $to;
         }
         elsif ($lastto ne $to) {
            if ($lastfrom ne '') {
               if ($range eq '') { $range = "$lastfrom-$lastto"; }
               else { $range = "$range,$lastfrom-$lastto"; }
            }
            $lastfrom = $from;
            $lastto = $to;
        }
      }
   }
   if ($lastfrom ne '') {
      if ($range eq '') { $range="$lastfrom-$lastto"; }
      else { $range="$range,$lastfrom-$lastto"; }
   }


   if ($range ne '') {


    #################################################################################
    ########### THE BELOW LINE IS WHERE CURL IS CALLED AND IT CRASHES ###############
    #################################################################################


      $err = system("$curl -f -v -s -r \"$range\" $url$grb -o $OUTDIR/$file.tmp");
      $err = $err >> 8;
      if ($err != 0) {
         print STDERR "error in getting file $err $url$grb\n";
         sleep(20);
         exit $err;
      }
      rename "$OUTDIR/$file.tmp", "$OUTDIR/$file";
      $output = "$output $OUTDIR/$file";
   }
   else {
      print "no matches (no download) for $file\n";
   }
   $fhr += $dhr;
}

1 个答案:

答案 0 :(得分:0)

你为什么想要卷曲?如果它只是范围,那很容易:

use v5.10.1;

use Mojo::UserAgent;

say Mojo::UserAgent->new->get(
    'http://www.example.com',
    { 'Range' => 'bytes=500-600' }
    )->res->body;

还有libcurl的{Per}绑定:Net::CurlWWW::Curl