Question

我必须存储大量数据对。数据对采用以下形式：

parameter = value

并且与容器有关。它类似于INI文件。例如，我有一个具有以下值的容器：

p1 = 32
p2 = "hello world"
p3 = -54

另一个有：

p1 = 32
p2 = 36
p5 = 42
p6 = "bye"

每个容器有一个未定义的参数数量。值是任何长度的数字或字符串（数字可以转换为字符串）。数据检索由参数名称（“所有p1值”）或值（“a'p6'参数，值为'bye'”）进行。该数据库将包含数百万对。插入和读取将经常进行，并且很少删除或更新记录。

我的第一次尝试是制作两张桌子。第一个是这样的：

CREATE TABLE IF NOT EXISTS `container` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  OTHER CONTAINER INFO
  PRIMARY KEY (`id`)
) ENGINE=InnoDB  DEFAULT CHARSET=utf8 COLLATE=utf8_unicode_ci AUTO_INCREMENT=1 ;

其中id将在包含对的另一个表中使用：

CREATE TABLE IF NOT EXISTS `data` (
  `container` int(11) NOT NULL,
  `name` varchar(64) COLLATE utf8_unicode_ci NOT NULL,
  `value` text COLLATE utf8_unicode_ci NOT NULL,
  KEY `container` (`container`),
  KEY `name` (`name`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8 COLLATE=utf8_unicode_ci;

添加数据：

INSERT INTO `container` (`id`) VALUES ('1'), ('2');
INSERT INTO  `data` (`container`, `name`, `value`) VALUES 
     ('1',  'p1',  '32'), 
     ('1',  'p2',  'hello world'), 
     ('1',  'p3',  '-54'), 
     ('2',  'p1',  '32'), 
     ('2',  'p2',  '36'), 
     ('2',  'p5',  '42'), 
     ('2',  'p6',  'bye');

它有效，但它不是非常“可用”且速度快。例如，如果我需要从每个具有p1=32的容器中查找所有参数，我必须进行两次SQL查询，首先：

SELECT id FROM  `container` WHERE id IN (
   SELECT container
   FROM DATA WHERE name =  'p1'
  AND value =  '32')

然后为每个容器id获取所有数据：

SELECT * FROM  `data` WHERE container = '$id'

然后通过PHP进行后期处理，因为它返回一个这样的表：

container   name    value
    1       p1      32
    1       p2      hello world
    1       p3      -54

（后处理只是对array_ *函数的一些调用，但它使处理速度变慢）。

我一直在测试包含50000个数据对的数据库，并使用此过程列出所有记录需要5秒以上。问题是：如何存储这类数据？或者如何提高我的实施绩效？

注意：问题不是第一个SQL查询（0'003秒）或第二个（每个0'002秒）。问题是为第一个SQL语句的每个结果进行SQL查询!!

注2 ：目标是拥有一个包含每个结果的PHP数组，并为每个结果创建一个带键值对的关联数组。 print_r的结果：

Array
(
    [1] => Array
        (
            [p1] => 32
            [p2] => hello world
            [p3] => -54
        )
    [2] => Array
        (
            [p1] => 32
            [p2] => 36
            [p5] => 42
            [p6] => bye
        )
)

当然，我在这里展示的数据结构是我的第一次尝试，我正在研究，这不是生产，所以我可以改变，完全没问题。

Answer 1

你不需要两个单独的查询，一个联接在那里工作正常;也不需要子选择。你的两个问题变为：

SELECT id FROM  `container` c 
JOIN data d ON c.id = d.container
d.name =  'p1'
AND d.value =  '32';

好的，我看到了你的笔记，你想要同一行中的所有数据吗？我不会使用此查询，但这些是您想要的结果吗？

SELECT id, GROUP_CONCAT(CONCAT_WS("=", d.name, d.value)) results FROM  `container` c 
JOIN data d ON c.id = d.container
HAVING LOCATE("p1=32", results) > 0;

Answer 2

如果您希望每个容器的所有结果都在一行上，则可能需要使用数据透视表。但是，鉴于您可能获得了可变数量的data.name值，您不能只在一个简单查询中执行此操作。你需要编写一个proc来动态生成sql。

此链接可以帮助您：http://www.artfulsoftware.com/infotree/queries.php#78

生成的SQL应该看起来像（未经测试的）

SELECT 
  c.id, 
  GROUP_CONCAT(if(d.name = 'p1', d.value, NULL)) AS 'p1', 
  GROUP_CONCAT(if(d.name = 'p2', d.value, NULL)) AS 'p2', 
  GROUP_CONCAT(if(d.name = 'p3', d.value, NULL)) AS 'p3', 
  GROUP_CONCAT(if(d.name = 'p4', d.value, NULL)) AS 'p4', 
  GROUP_CONCAT(if(d.name = 'p5', d.value, NULL)) AS 'p5', 
  GROUP_CONCAT(if(d.name = 'p6', d.value, NULL)) AS 'p6', 
FROM container c
JOIN data d ON c.id = d.container
GROUP BY c.id;

给出类似的结果：

|id    |p1    |p2            |p3    |p4    |p5   |p6  | 
-------------------------------------------------------
|1     |32    |hello world   |-54   |      |     |    |
|2     |32    |36            |      |      |42   |bye |

Answer 3

试试这个：

SELECT 
   container.id 
FROM 
   `container` 
LEFT JOIN `DATA`
   ON container.ID = DATA.container
WHERE DATA.name =  'p1'
   AND DATA.value =  '32'

Answer 4

只需加入数据表，您就可以在一个选择中获得所需的一切：

select d2.container, d2.name, d2.value
from data d1
join data d2 using(container)
where d1.name  = 'p1'
  and d1.value = '32';

结果：

| container | name |       value |
|-----------|------|-------------|
|         1 |   p1 |          32 |
|         1 |   p2 | hello world |
|         1 |   p3 |         -54 |
|         2 |   p1 |          32 |
|         2 |   p2 |          36 |
|         2 |   p5 |          42 |
|         2 |   p6 |         bye |

$arr = array();
while ($row = $result->fetchAssoc()) {
    $arr[$row['container']][$row['name']] = $row['value'];
}

您还可以在sql：

中创建有效的php数组字符串

select concat('[', GROUP_CONCAT(d.row), '\n]')
from (
    select concat('\n\t', d2.container, '=>[', GROUP_CONCAT(concat('"', d2.name, '"', '=>', '"', d2.value, '"')), ']') as row
    from data d1
    join data d2 using(container)
    where d1.name  = 'p1'
      and d1.value = '32'
    group by d2.container
) d;

结果：

[
    1=>["p1"=>"32","p2"=>"hello world","p3"=>"-54"],
    2=>["p1"=>"32","p2"=>"36","p5"=>"42","p6"=>"bye"]
]

但为什么有人想这样做呢？ ; - ）

http://sqlfiddle.com/#!9/a7977/1

更新 - 也尝试按键：

ALTER TABLE `data` ADD UNIQUE INDEX `container_name` (`container`, `name`);
ALTER TABLE `data` ADD INDEX `name_value` (`name`, `value`(20));

您可能还想在网上搜索entity-attribute-value

如何在mysql数据库中存储数据对？

4 个答案: