Question

所以基本上我只是对我的update_feeds控制器进行了基准测试，发现运行的sql查询数量令人震惊。我正在寻找一种方法来优化fectching多个feed的过程，然后将数据插入表（title和url）

目前，DB中有193个Feeds我为其获取URL，然后我逐个处理这些并检查并将它们的数据插入到另一个表中。问题是simplepie经历并插入每个项目。

所以我最终得到了QUERIES：3297 总执行时间202.8051

我正在寻找一种优化此流程的方法，有人有任何提示吗？我会发布一些代码。感谢。

用于获取Feed的控制器

          $this->output->set_profiler_sections($sections);
        $this->load->library('simplepie');
        //$this->simplepie->cache_location = BASEPATH .'cache';
        $this->load->model('FeedModel');
        $this->load->model('FeedItemModel');
        $feeds = $this->FeedModel->get_feed_update_urls();
        foreach ($feeds as $feed_id => $feed_url) {
            $this->simplepie->set_feed_url($feed_url);
            //$this->simplepie->set_cache_duration(0);
$this->simplepie->set_timeout(0);
            $this->simplepie->init();
            $items = $this->simplepie->get_items();
            foreach ($items as $item) {
                $this->FeedItemModel->load($feed_id, md5($item->get_id()));
                $this->FeedItemModel->link = $item->get_permalink();
                $this->FeedItemModel->title = $item->get_title();
                $this->FeedItemModel->created_time = $item->get_date('Y-m-d H:i:s');
                $this->FeedItemModel->save();
            }
        }

插入Feed的模型

function save() {
        if ($this->_id !== false) {
            $this->db->query('UPDATE feed_items SET link=?, title=?, created_time=? WHERE id=?', array($this->link, $this->title, $this->created_time, $this->_id));
        } else {
            $this->db->query('INSERT INTO feed_items(feed_id, remote_id, link, title, created_time, updated_time) VALUES (?, ?, ?, ?, ?, NOW()) ON DUPLICATE KEY UPDATE remote_id=remote_id', array($this->feed_id, $this->remote_id, $this->link, $this->title, $this->created_time, $this->remote_id));
            $this->_id = $this->db->insert_id();
        }
    }

Answer 1

不是每次都加载然后保存，而是应该进行更新（然后在更新找不到行时插入）。这将减少每个Feed项的单个查询。

使用SimplePie使用RSS源进行优化的数据库插入 - 需要创意

1 个答案: