Question

我有正在登录应用程序的webapp，我需要备份/恢复/导入/导出功能。我用laravel成功完成了这项工作但与Phalcon有一些并发症。我没有看到phalcon中的本机函数会分裂大块php脚本的块执行。

问题是日志将被备份和恢复以及用户以ADIF格式导入（adif.org）我有这种格式的解析器，它将文件转换为数组数组，然后每个记录都应搜索另一个表，包含2000个正则表达式，并在那里找到3-10个匹配，并将一个表中的导入记录连接到另一个表中的那些（模型关系hasMany）这意味着每个导入的记录应该有相当多的处理时间。 laravel以某种方式完成了导入的3500条记录，我不知道它将如何处理更多。平均导入将包含10000条记录，每条记录都需要使用2000正则表达式进行验证。

主要问题是如何将这个巨大的处理挂载拆分成更小的块，这样我就不会超时了？

Answer 1

这个功能可以完美地完成这项工作，在一个表中添加3862条记录，并且由于处理每条记录，在另一个表中添加8119条记录：

public function restoreAction()
{
    $this->view->disable();

    $user = Users::findFirst($this->session->auth['id']);

    if ($this->request->isPost()) {
        if ($this->request->isAjax()) {

            $frontCache = new CacheData(array(
                "lifetime" => 21600
            ));

            $cache = new CacheFile($frontCache, array(
                "cacheDir" => "../plc/app/cache/"
            ));

            $cacheKey = $this->request->getPost('fileName').'.cache';

            $records = $cache->get($cacheKey);

            if ($records === null) {
                $rowsPerChunk = 50;
                $adifSource = AdifHelper::parseFile(BASE_URL.'/uploads/'.$user->getUsername().'/'.$this->request->getPost('fileName'));
                $records = array_chunk($adifSource, $rowsPerChunk);
                $key = array_keys($records); 
                $size = count($key); 
            }

            for ($i = 0; $i < $size; $i++) {
                if (!isset($records[$i])) {
                    break;
                }
                set_time_limit(50);
                for ($j=0; $j < $rowsPerChunk; $j++) { 
                    $result = $records[$i][$j];
                    if (!isset($result)) {
                        break;
                    }
                    if(isset($result['call'])) {
                        $p = new PrefixHelper($result['call']);
                    }
                    $bandId = (isset($result['band']) && (strlen($result['band']) > 2)) ? Bands::findFirstByName($result['band'])->getId() : null;
                    $infos = (isset($p)) ? $p->prefixInfo() : null;
                    if (is_array($infos)) {
                        if (isset($result['qsl_sent']) && ($result['qsl_sent'] == 'q')) {
                            $qsl_rcvd = 'R';
                        } else if (isset($result['eqsl_qsl_sent']) && ($result['eqsl_qsl_sent'] == 'c')) {
                            $qsl_rcvd = 'y';
                        } else if (isset($result['qsl_rcvd'])) {
                            $qsl_rcvd = $result['qsl_rcvd'];
                        } else {
                            $qsl_rcvd ='i';
                        }
                        $logRow = new Logs();
                        $logRow->setCall($result['call']);
                        $logRow->setDatetime(date('Y-m-d H:i:s',strtotime($result['qso_date'].' '.$result['time_on'])));
                        $logRow->setFreq(isset($result['freq']) ? $result['freq'] : 0);
                        $logRow->setRst($result['rst_sent']);
                        $logRow->setQslnote(isset($result['qslmsg']) ? $result['qslmsg'] : '');
                        $logRow->setComment(isset($result['comment']) ? $result['comment'] : '');
                        $logRow->setQslRcvd($qsl_rcvd);
                        $logRow->setQslVia(isset($result['qsl_sent_via']) ? $result['qsl_sent_via'] : 'e');
                        $logRow->band_id = $bandId;
                        $logRow->user_id = $this->session->auth['id'];
                        $success = $logRow->save();

                        if ($success) {
                            foreach ($infos as $info) {
                                if (is_object($info)) {
                                    $inf = new Infos();
                                    $inf->setLat($info->lat);
                                    $inf->setLon($info->lon);
                                    $inf->setCq($info->cq);
                                    $inf->setItu($info->itu);
                                    if (isset($result['iota'])) {
                                        $inf->setIota($result['iota']);
                                    }
                                    if (isset($result['pfx'])) {
                                        $inf->setPfx($result['pfx']);
                                    }
                                    if (isset($result['gridsquare'])) {
                                        $inf->setGrid($result['gridsquare']);
                                    } else if (isset($result['grid'])) {
                                        $inf->setGrid($result['grid']);
                                    }
                                    $inf->qso_id = $logRow->getId();
                                    $inf->prefix_id = $info->id;

                                    $infSuccess[] = $inf->save();
                                }
                            }
                        }
                    }
                }
                sleep(1);
            }

        }       
    }
}

我知道，脚本需要很多改进，但现在任务只是让它工作。

Answer 2

我认为php中大型处理任务的良好实践是控制台应用程序，它在执行时间上没有限制，可以设置更多内存来执行。

对于 phalcon ，它具有运行和处理cli任务的内置机制 - Command Line Applications（此链接将始终指向phalcon最新版本的文档）

PhalconPHP中的大型过程

2 个答案: