Question

我有一个包含文件的数据库，可以在多个服务器上搜索，浏览和拥有多个副本。

我缓存搜索，浏览页面和服务器位置（网址）。假设我删除了一个文件，有什么方法可以使所有搜索无效，浏览此文件的数据和网址？或者如果文件服务器出现故障，我需要使指向该服务器的所有URL无效？

基本上我正在寻找类似于memcache-tags的东西，但是使用标准的memcache和php组件。（无需更改Web服务器本身的任何内容）。在键之间我需要某种多对多的关系（一个服务器有很多文件，一个文件有多个服务器），但似乎无法找到实现这一目标的好方法。在某些情况下，过时的缓存是可接受的（次要更新等），但在某些情况下，它不是（通常是删除和服务器关闭）我需要使包含对它的引用的所有缓存项无效。

我看过的一些方法：

Namespaces ：

$ns_key = $memcache->get("foo_namespace_key");
// if not set, initialize it
if($ns_key===false) $memcache->set("foo_namespace_key", rand(1, 10000));
// cleverly use the ns_key
$my_key = "foo_".$ns_key."_12345";
$my_val = $memcache->get($my_key);

//To clear the namespace do:
$memcache->increment("foo_namespace_key");

将缓存键限制为单个命名空间

Item caching approach ：

$files = array('file1','file2');
// Cache all files as single entries
foreach ($files as $file) {
  $memcache->set($file.'_key');
}
$search = array('file1_key','file2_key');
// Retrieve all items found by search (typically cached as file ids)
foreach ($search as $item) {
  $memcache->get($item);
}

如果文件服务器关闭会产生问题，并且包含此服务器的URL的所有密钥都应该无效（EG将需要大量的小缓存项，这反过来需要大量的缓存请求） - 打破任何缓存完整对象和结果集的可能性

Tag implemenation ：

class KeyEnabled_Memcached extends Zend_Cache_Backend_Memcached
{

    private function getTagListId()
    {
        return "MyTagArrayCacheKey";
    }

    private function getTags()
    {
        if(!$tags = $this->_memcache->get($this->getTagListId()))
        {
            $tags = array();
        }
        return $tags;
    }

    private function saveTags($id, $tags)
    {
        // First get the tags
        $siteTags = $this->getTags();

        foreach($tags as $tag)
        {
            $siteTags[$tag][] = $id;
        }
        $this->_memcache->set($this->getTagListId(), $siteTags);        
    }

    private function getItemsByTag($tag)
    {
        $siteTags = $this->_memcache->get($this->getTagListId());
        return isset($siteTags[$tag]) ? $siteTags[$tag] : false;
    }

    /**
     * Save some string datas into a cache record
     *
     * Note : $data is always "string" (serialization is done by the
     * core not by the backend)
     *
     * @param  string $data             Datas to cache
     * @param  string $id               Cache id
     * @param  array  $tags             Array of strings, the cache record will be tagged by each string entry
     * @param  int    $specificLifetime If != false, set a specific lifetime for this cache record (null => infinite lifetime)
     * @return boolean True if no problem
     */
    public function save($data, $id, $tags = array(), $specificLifetime = false)
    {
        $lifetime = $this->getLifetime($specificLifetime);
        if ($this->_options['compression']) {
            $flag = MEMCACHE_COMPRESSED;
        } else {
            $flag = 0;
        }
        $result = $this->_memcache->set($id, array($data, time()), $flag, $lifetime);
        if (count($tags) > 0) {
            $this->saveTags($id, $tags);
        }
        return $result;
    }

    /**
     * Clean some cache records
     *
     * Available modes are :
     * 'all' (default)  => remove all cache entries ($tags is not used)
     * 'old'            => remove too old cache entries ($tags is not used)
     * 'matchingTag'    => remove cache entries matching all given tags
     *                     ($tags can be an array of strings or a single string)
     * 'notMatchingTag' => remove cache entries not matching one of the given tags
     *                     ($tags can be an array of strings or a single string)
     *
     * @param  string $mode Clean mode
     * @param  array  $tags Array of tags
     * @return boolean True if no problem
     */
    public function clean($mode = Zend_Cache::CLEANING_MODE_ALL, $tags = array())
    {
        if ($mode==Zend_Cache::CLEANING_MODE_ALL) {
            return $this->_memcache->flush();
        }
        if ($mode==Zend_Cache::CLEANING_MODE_OLD) {
            $this->_log("Zend_Cache_Backend_Memcached::clean() : CLEANING_MODE_OLD is unsupported by the Memcached backend");
        }
        if ($mode==Zend_Cache::CLEANING_MODE_MATCHING_TAG) {
            $siteTags = $newTags = $this->getTags();
            if(count($siteTags))
            {
                foreach($tags as $tag)
                {
                    if(isset($siteTags[$tag]))
                    {
                        foreach($siteTags[$tag] as $item)
                        {
                            // We call delete directly here because the ID in the cache is already specific for this site
                            $this->_memcache->delete($item);
                        }
                        unset($newTags[$tag]);
                    }
                }
                $this->_memcache->set($this->getTagListId(),$newTags);
            }
        }
        if ($mode==Zend_Cache::CLEANING_MODE_NOT_MATCHING_TAG) {
            $siteTags = $newTags = $this->getTags();
            if(count($siteTags))
            {
                foreach($siteTags as $siteTag => $items)
                {
                    if(array_search($siteTag,$tags) === false)
                    {
                        foreach($items as $item)
                        {
                            $this->_memcache->delete($item);
                        }
                        unset($newTags[$siteTag]);
                    }
                }
                $this->_memcache->set($this->getTagListId(),$newTags);
            }
        }
    }
}

由于内部memcache密钥丢失，无法控制哪些密钥无效，因此可以删除标记密钥，从而使大量实际有效密钥无效（仍然存在）
写并发问题

Two-step cache system ：

// Having one slow, and one fast cache mechanism where the slow cache is reliable storage  containing a copy of tag versions 
$cache_using_file['tag1'] = 'version1';
$cache_using_memcache['key'] = array('data' = 'abc', 'tags' => array('tag1' => 'version1');

使用disk / mysql等缓慢缓存的潜在瓶颈
写并发问题

Answer 1

请参阅Organizing memcache keys

除非你能“掌握关键”项目，否则没有理智的方法可以做到这一点。我的意思是“user4231-is_valid”。您可以检查使用该用户数据的任何内容。否则，除非您跟踪引用相关文件的所有内容，否则您无法使所有文件无效。如果你这样做，你仍然需要迭代所有可能性才能成功删除。

记录您的依赖项，限制您的依赖项，跟踪您的代码中的依赖项以进行删除活动。

Answer 2

我没有使用memcached的经验，但我知道IO在那里很便宜。

我会使用你的标签实现，确保频繁使用标签列表并希望内部mmcd'逻辑“认为”它太忙而无法丢弃：）

Answer 3

来到评论here，这解释了驱逐现有密钥的逻辑，我相信标签可以通过以下所述的版本标记方法可靠地实现：PHP memcache design patterns

我实际上已经实现了这个逻辑，但是因为memcache在元素到期之前逐出它们而将其丢弃为不可靠。您可以找到我的初始实施here。但是，我相信这是一个可靠的标签模式，因为：

在缓存对象检索时，对象移动到LRU堆栈顶部
在缓存对象
如果某个旗帜被驱逐，那么任何包含此旗帜的物品都会在
递增标志会在同一操作中返回新值，从而避免写入并发。如果第二个线程在写入缓存对象之前递增相同的标志，则根据定义它已经无效

如果我错了，请纠正我！： - ）

使用标准php库使许多memcache密钥无效的最佳方法？

3 个答案: