使用jq展平嵌套的JSON

时间:2016-05-31 08:34:46

标签: json elasticsearch solr jq flatten

我想展平一个嵌套的json对象,例如Call CreationMacroAuto(){"a":{"b":1}},以便在solr中消化它。

我有11 TB的json文件,它们都是嵌套的,并且在字段名称中包含点,这意味着不是elasticsearch(点),也不是solr(没有{"a.b":1}符号的嵌套)可以按原样消化它。

其他解决方案是用下划线替换字段名称中的点并将其推送到elasticsearch,但我对solr有更好的经验,因此我更喜欢flatten解决方案(除非solr能够消化那些嵌套的jsons吗?) 。

只有当消化过程花费的时间远远少于solr时,我才会喜欢elasticsearch,因为我的优先级是尽可能快地消化(因此我选择了jq而不是在python中编写脚本)。

请帮助。

编辑:

我认为这对例子3和4为我解决了这个问题: https://lucidworks.com/blog/2014/08/12/indexing-custom-json-data/

我很快就会尝试。

5 个答案:

答案 0 :(得分:12)

您还可以使用以下jq命令以这种方式展平嵌套的JSON对象:

[leaf_paths as $path | {"key": $path | join("."), "value": getpath($path)}] | from_entries

它的工作方式是:leaf_paths返回一个数组流,这些数组表示给定JSON文档中出现“叶元素”的路径,即没有子元素的元素,例如数字,字符串和布尔值。我们将该流管道传输到具有keyvalue属性的对象,其中key包含路径数组的元素作为由点连接的字符串,value包含该元素路径。最后,我们将整个事物放在一个数组中并在其上运行from_entries,它将{key, value}个对象数组转换为包含这些键值对的对象。

答案 1 :(得分:8)

这只是圣地亚哥jq的变种:

. as $in 
| reduce leaf_paths as $path ({};
     . + { ($path | map(tostring) | join(".")): $in | getpath($path) })

它避免了键/值构造和破坏的开销。

(如果您可以访问jq 1.5之后的jq版本,则可以省略“map(tostring)”。)

关于这两种jq解决方案的两个要点:

  1. 阵列也被夷为平地。 例如。给定{"a": {"b": [0,1,2]}}作为输入,输出将是:

    {
      "a.b.0": 0,
      "a.b.1": 1,
      "a.b.2": 2
    }
    
  2. 如果原始JSON中的任何键包含句点,则可能发生键冲突;这种碰撞通常会导致价值的损失。例如,这将通过以下输入发生:

    {"a.b":0, "a": {"b": 1}}
    

答案 2 :(得分:1)

事实证明,curl -XPOST 'http://localhost:8983/solr/flat/update/json/docs' -d @json_file就是这样做的:

{
    "a.b":[1],
    "id":"24e3e780-3a9e-4fa7-9159-fc5294e803cd",
    "_version_":1535841499921514496
}

编辑1:使用bin/solr -e cloud的solr 6.0.1。集合名称为flat,其余均为默认值(data-driven-schema也是默认值)。

编辑2:我使用的最终脚本:find . -name '*.json' -exec curl -XPOST 'http://localhost:8983/solr/collection1/update/json/docs' -d @{} \;

编辑3:也可以与xargs并行并使用jq添加id字段:find . -name '*.json' -print0 | xargs -0 -n 1 -P 8 -I {} sh -c "cat {} | jq '. + {id: .a.b}' | curl -XPOST 'http://localhost:8983/solr/collection/update/json/docs' -d @-"其中-P是并行因子。我使用jq来设置id,因此同一文档的多次上传不会在集合中创建重复项(当我搜索-P的最佳值时,它在集合中创建了重复项)

答案 3 :(得分:1)

以下是使用 tostream 选择加入缩小设置路径<的解决方案/强>

  reduce ( tostream | select(length==2) | .[0] |= [join(".")] ) as [$p,$v] (
     {}
     ; setpath($p; $v)
  )

答案 4 :(得分:1)

我最近编写了一个名为 jqg 的脚本,它可以将任意复杂的 JSON 展平并使用正则表达式搜索结果;要简单地展平 JSON,您的正则表达式将是“.”,它匹配所有内容。与上面的答案不同,该脚本将处理嵌入式数组、falsenull 值,并且可以选择将空数组和对象 ([] & {}) 视为叶节点。

$ jq . test/odd-values.json
{
  "one": {
    "start-string": "foo",
    "null-value": null,
    "integer-number": 101
  },
  "two": [
    {
      "two-a": {
        "non-integer-number": 101.75,
        "number-zero": 0
      },
      "true-boolean": true,
      "two-b": {
        "false-boolean": false
      }
    }
  ],
  "three": {
    "empty-string": "",
    "empty-object": {},
    "empty-array": []
  },
  "end-string": "bar"
}

$ jqg . test/odd-values.json
{
  "one.start-string": "foo",
  "one.null-value": null,
  "one.integer-number": 101,
  "two.0.two-a.non-integer-number": 101.75,
  "two.0.two-a.number-zero": 0,
  "two.0.true-boolean": true,
  "two.0.two-b.false-boolean": false,
  "three.empty-string": "",
  "three.empty-object": {},
  "three.empty-array": [],
  "end-string": "bar"
}

jqg 已使用 jq 1.6 进行测试

注意:我是 jqg 脚本的作者。