迭代JSON文件PowerShell

时间:2015-11-04 11:29:40

标签: json powershell powershell-v5.0

我试图在PowerShell中遍历下面的JSON文件。

如果没有专门命名顶部标签(例如17443和17444),因为我事先并不知道它们,我找不到循环数据的方法。

我想为所有记录输出标签3,4和5(标题,名字,姓氏)。

我将如何实现这一目标?

{
   "17443":{
      "sid":"17443",
      "nid":"7728",
      "submitted":"1436175407",
      "data":{
         "3":{
            "value":[
               "Mr"
            ]
         },
         "4":{
            "value":[
               "Jack"
            ]
         },
         "5":{
            "value":[
               "Cawles"
            ]
         }
      },
      "17444":{
         "sid":"17444",
         "nid":"7728",
         "submitted":"1436891400",
         "data":{
            "3":{
               "value":[
                  "Miss"
               ]
            },
            "4":{
               "value":[
                  "Charlotte"
               ]
            },
            "5":{
               "value":[
                  "Tann"
               ]
            }
         }
      },
      "17445":{
         "sid":"17445",
         "nid":"7728",
         "submitted":"1437142325",
         "data":{
            "3":{
               "value":[
                  "Mr"
               ]
            },
            "4":{
               "value":[
                  "John"
               ]
            },
            "5":{
               "value":[
                  "Brokland"
               ]
            }
         }
      }
   }
}

我可以使用下面的代码访问数据,但我想避免输入17443,17444等。

$data = ConvertFrom-Json $json

foreach ($i in $data.17443)
{
   foreach ($t in $i.data.3)
   {
      Write-Host $t.value
   }
   foreach ($t in $i.data.4)
   {
      Write-Host $t.value
   }
   foreach ($t in $i.data.5)
   {
      Write-Host $t.value
   }
}

4 个答案:

答案 0 :(得分:32)

PowerShell 3.0 +

在PowerShell 3.0及更高版本中(请参阅:Determine installed PowerShell version),您可以使用ConvertFrom-Json cmdlet将JSON字符串转换为PowerShell数据结构。

同时方便和不幸 - 方便,因为它很容易消耗JSON,不幸的是因为ConvertFrom-Json给你PSCustomObjects,而且很难迭代为键值对。

在这个特定的JSON中,密钥似乎是动态的/未知的,如"17443""17444"。这意味着我们需要能够将PSCustomObject转换为foreach可以理解的键值列表的内容。

# helper to turn PSCustomObject into a list of key/value pairs
function Get-ObjectMembers {
    [CmdletBinding()]
    Param(
        [Parameter(Mandatory=$True, ValueFromPipeline=$True)]
        [PSCustomObject]$obj
    )
    $obj | Get-Member -MemberType NoteProperty | ForEach-Object {
        $key = $_.Name
        [PSCustomObject]@{Key = $key; Value = $obj."$key"}
    }
}

现在我们可以遍历对象图并生成一个包含TitleFirstNameLastName

的输出对象列表
$json = '{"17443": {"17444": {"sid": "17444","nid": "7728","submitted": "1436891400","data": {"3": {"value": ["Miss"]},"4": {"value": ["Charlotte"]},"5": {"value": ["Tann"]}}},"17445": {"sid": "17445","nid": "7728","submitted": "1437142325","data": {"3": {"value": ["Mr"]},"4": {"value": ["John"]},"5": {"value": ["Brokland"]}}},"sid": "17443","nid": "7728","submitted": "1436175407","data": {"3": {"value": ["Mr"]},"4": {"value": ["Jack"]},"5": {"value": ["Cawles"]}}}}'

$json | ConvertFrom-Json | Get-ObjectMembers | foreach {
    $_.Value | Get-ObjectMembers | where Key -match "^\d+$" | foreach {
        [PSCustomObject]@{
            Title = $_.value.data."3".value | select -First 1
            FirstName = $_.Value.data."4".value | select -First 1
            LastName = $_.Value.data."5".value | select -First 1
        }
    }
}

输出

Title                      FirstName                  LastName                 
-----                      ---------                  --------                 
Miss                       Charlotte                  Tann                     
Mr                         John                       Brokland                 

PowerShell 2.0 /替代方法

另一种适用于PowerShell 2.0的方法(不支持上面的一些结构)将涉及使用.NET JavaScriptSerializer class来处理JSON:

Add-Type -AssemblyName System.Web.Extensions
$JS = New-Object System.Web.Script.Serialization.JavaScriptSerializer

现在我们可以做一个非常类似的操作 - 甚至比上面简单一点,因为JavaScriptSerializer为您提供常规Dictionaries,它们很容易通过GetEnumerator()方法作为键值对进行迭代:

$json = '{"17443": {"17444": {"sid": "17444","nid": "7728","submitted": "1436891400","data": {"3": {"value": ["Miss"]},"4": {"value": ["Charlotte"]},"5": {"value": ["Tann"]}}},"17445": {"sid": "17445","nid": "7728","submitted": "1437142325","data": {"3": {"value": ["Mr"]},"4": {"value": ["John"]},"5": {"value": ["Brokland"]}}},"sid": "17443","nid": "7728","submitted": "1436175407","data": {"3": {"value": ["Mr"]},"4": {"value": ["Jack"]},"5": {"value": ["Cawles"]}}}}'

$data = $JS.DeserializeObject($json)

$data.GetEnumerator() | foreach {
    $_.Value.GetEnumerator() | where { $_.Key -match "^\d+$" } | foreach {
        New-Object PSObject -Property @{
            Title = $_.Value.data."3".value | select -First 1
            FirstName = $_.Value.data."4".value | select -First 1
            LastName = $_.Value.data."5".value | select -First 1
        }
    }
}

输出相同:

Title                      FirstName                  LastName                 
-----                      ---------                  --------                 
Miss                       Charlotte                  Tann                     
Mr                         John                       Brokland                 

如果您的JSON大于4 MB,请相应地设置JavaScriptSerializer.MaxJsonLength property

从文件中读取JSON

如果您从文件中读取,请使用Get-Content -Raw -Encoding UTF-8

  • -Raw因为否则Get-Content会返回一系列单独的行,JavaScriptSerializer.DeserializeObject无法处理。最近的Powershell版本似乎改进了.NET函数参数的类型转换,因此它可能不会在您的系统上出错,但如果确实如此(或者只是为了安全),请使用-Raw
  • -Encoding因为在阅读时指定文本文件的编码是明智的,而UTF-8是JSON文件最可能的值。

注释

  • ConvertFrom-Json()为您提供了一个反映JSON字符串中数据的PowerShell自定义对象(PSCustomObject)。
  • 您可以使用Get-Member -type NoteProperty
  • 循环访问自定义对象的属性
  • 您可以使用$object."$propName"语法动态访问对象的属性,或$object."$(some PS expression)"
  • 您可以创建自己的自定义对象,并使用New-Object PSObject -Property @{...}[PSCustomObject]@{ .. }的一堆属性对其进行初始化     `

答案 1 :(得分:2)

这个问题很多。在这种情况下,我们必须遍历属性两次。这是我目前的答案。使对象更易于使用。顶层属性和数据属性都变为“名称”和“值”的数组。您可以使用选择对象计算的属性以所需的任何方式显示它。似乎在json中,您更经常会获得随机属性,而不是具有相同属性的数组。

$a = cat file.json | convertfrom-json

$a = $a.psobject.properties | select name,value 
$a | foreach { $_.value.data = 
  $_.value.data.psobject.properties | select name,value }

$a.value.data.value

value
-----
{Mr}
{Jack}
{Cawles}
{Miss}
{Charlotte}
{Tann}
{Mr}
{John}
{Brokland}

尝试使用jq做类似的事情:

'{"prop1":1, "prop2":2, "prop3":3}' | jq to_entries | convertfrom-json

key   value
---   -----
prop1     1
prop2     2
prop3     3

Powershell 7中的convertFrom-Json还具有-AsHashTable参数,该参数为您提供键和值属性。

$a = '{"name":"joe","address":"here"}' | ConvertFrom-Json -AsHashtable
$a

Name                           Value
----                           -----
name                           joe
address                        here

$a.keys
name
address

$a.values
joe
here

答案 2 :(得分:1)

首先,我们将使用 ConvertFrom-Json cmdlet 将 JSON 字符串转换为 PowerShell 数据结构。

然后,为了说明如何遍历嵌套的 PowerShell 数据结构,我们将通过一个简化的示例进行演示。

给定

$response = [PSCustomObject] @{
    prediction = [PSCustomObject] @{
        cat = 0.6576587659
        dog = 0.3423412341
    }
}

我们的目标是遍历预测中的键值对(即猫和狗)并将它们的值缩短到小数点后 3 位。

解决

$response.prediction | Get-Member -MemberType NoteProperty | ForEach-Object {
    $key = $_.Name
    [PSCustomObject]@{Key = $key; Value = "{0:N3}" -f $response.prediction.$key}
}

我们首先遍历所有预测成员,然后为每个成员分配一个新成员键和一个 3 位小数位值。

输出

Key Value
--- -----
cat 0.658
dog 0.342

答案 3 :(得分:-11)

这是一个简单的基于正则表达式的解决方案。假设$sRawJson包含您的JSON输入:

$oRegex = [Regex]'(?:(?<="[345]":\{"value"\:\["))[^"]+'
$cParts = $oRegex.Matches(($sRawJson -replace '\s')) | Select-Object -ExpandProperty "Value"

加入部分以获取全名:

for ($i = 0; $i -lt $cParts.Count / 3; $i++) { $cParts[($i * 3)..($i * 3 + 2)] -join ' ' }