我有一个json数组,其中包含大约1000个结构元素" oid:aaa,instance:bbb,value:ccc"。
{"_id": 37637070
, "data": [{"oid": "11.5.15.1.4", "value": "1", "instance": "1.1.4"}
, {"oid": "11.5.15.1.9", "value": "17", "instance": "1.1.4"}
, {"oid": "12.5.15.1.5", "value": "0.0.0.0", "instance": "0"}]}
每个json数组 oid
和instance
是唯一的。如果我可以选择更改结构,我会将格式更改为 key:value :
{"11.5.15.1.4-1.1.4":"1", "11.5.15.1.9-1.1.4": "17", "12.5.15.1.5-0": "0.0.0.0"}
但是,如果我需要继续使用旧结构
从阵列中获取特定oid
的最快方法是什么?
获得包含3列oid
,instance
和value
的表格的最快方法是什么。或者更好的是使用oid + instance作为列标题的数据透视表。
对于2.我尝试了以下内容,但是在一张大桌子上它很慢:
select *
from (
select a->>'oid' oid, a->>'instance' instance, a->>'value' value1, id
from (
select jsonb_array_elements(config#>'{data}') a, id
from configuration
) b
) c
where oid = '1.3.6.1.4.1.7352.3.10.2.5.35.3' and instance = '0' and value1 <> '1';
答案 0 :(得分:6)
您的表定义丢失了。假设:
CREATE TABLE configuration (
config_id serial PRIMARY KEY
, config jsonb NOT NULL
);
要查找给定value
和oid
的{{1}}及其行:
instance
这是一个隐含的SELECT c.config_id, d->>'value' AS value
FROM configuration c
, jsonb_array_elements(config->'data') d -- default col name is "value"
WHERE d->>'oid' = '1.3.6.1.4.1.7352.3.10.2.5.35.3'
AND d->>'instance' = '0'
AND d->>'value' <> '1'
联接。比较:
2)获得包含3列
的表格的最快方法是什么?LATERAL
,oid
和instance
我想使用jsonb_populate_recordset()
,然后您可以在表定义中提供数据类型。假设所有人都value.
:
text
也可以是持久(非临时)表。这个仅适用于本届会议。然后:
CREATE TEMP TABLE data_pattern (oid text, value text, instance text);
这就是全部。第一个查询被重写:
SELECT c.config_id, d.*
FROM configuration c
, jsonb_populate_recordset(NULL::data_pattern, c.config->'data') d
但是比第一个查询慢。使用更大表的性能关键是索引支持:
您可以轻松索引标准化(已翻译)表格或您在问题中提出的替代布局。索引当前布局并不是那么明显,但也可能。为了获得最佳性能,我建议使用SELECT c.config_id, d.*
FROM configuration c
, jsonb_populate_recordset(NULL::data_pattern, c.config->'data') d
WHERE d.oid = '1.3.6.1.4.1.7352.3.10.2.5.35.3'
AND d.instance = '0'
AND d.value <> '1';
运算符类的data
键的功能索引。 Per documentation:
jsonb_path_ops
和jsonb_ops
GIN之间的技术差异 index是前者为每个键创建独立索引项 和数据中的值,而后者仅为其创建索引项 数据中的每个值。
这个应该可以创造奇迹:
jsonb_path_ops
有人可能会认为只有JSON数组元素的完全匹配才能起作用,例如:
CREATE INDEX configuration_my_idx ON configuration
USING gin ((config->'data') jsonb_path_ops);
请注意所提供值的JSON数组符号(包含SELECT * FROM configuration
WHERE (config->'data') @> '[{"oid": "1.3.6.1.4.1.7352.3.10.2.5.35.3"
, "instance": "0", "value": "1234"}]';
),这是必需的。
但是具有键子集的数组元素也可以工作:
[]
困难的部分是合并你看似不吉利的添加谓词SELECT * FROM configuration
WHERE (config->'data') @> '[{"oid": "1.3.6.1.4.1.7352.3.10.2.5.35.3"
, "instance": "0"}]'
。必须注意将所有谓词应用于相同的数组元素。您可以将其与第一个查询结合使用:
value <> '1'
VOILÀ。
如果你的表很大,索引大小可能是一个决定因素。您可以将此特殊解决方案的性能与功能索引进行比较:
此函数从给定的SELECT c.*, d->>'value' AS value
FROM configuration c
, jsonb_array_elements(config->'data') d
WHERE (config->'data') @> '[{"oid": "1.3.6.1.4.1.7352.3.10.2.5.35.3", "instance": "0"}]'
AND d->>'oid' = '1.3.6.1.4.1.7352.3.10.2.5.35.3' -- must be repeated
AND d->>'instance' = '0' -- must be repeated
AND d->>'value' <> '1' -- here we can rule out
值中提取Postgres的 oid-instance 组合数组:
jsonb
我们可以基于此构建功能索引:
CREATE OR REPLACE FUNCTION f_config_json2arr(_j jsonb)
RETURNS text[] LANGUAGE sql IMMUTABLE AS
$func$
SELECT ARRAY(
SELECT (elem->>'oid') || '-' || (elem->>'instance')
FROM jsonb_array_elements(_j) elem
)
$func$
并将查询基于它:
CREATE INDEX configuration_conrfig_special_idx ON configuration
USING gin (f_config_json2arr(config->'data'));
这个想法是索引应该大得多,因为它只存储没有键的组合值。 array containment operator @>
本身应该与jsonb containment operator @>
类似。我不希望有太大的区别,但我会非常感兴趣哪个更快。
与此相关答案中的第一个解决方案类似(但更专业):
SELECT * FROM configuration
WHERE f_config_json2arr(config->'data') @> '{1.3.6.1.4.1.7352.3.10.2.5.35.3-0}'::text[]
作为列名,因为它也用于Postgres的内部用途。