嵌套JSON - Azure Data Lake - U-SQL提取到CSV

Question

我尝试过不同的方法从我的JSON文件中提取数据并在U-SQL中转换为CSV，但它们似乎都生成空文件或只输出标题行。

我之前尝试过JSON元组，但由于生成了空文件，我现在正在尝试使用MultiLevelJsonExtractor。

我的JSON文件结构如下：

{
   "responseHeader":{
      "status":0,
      "QTime":25,
      "params":{
         "q":"query",
         "rows":"7000",
         "wt":"json"
      }
   },
   "response":{
      "docs":[
         {
            "uri":"www.google.com",
            "date_dt":"2017-05-30T23:00:00Z",
            "title":"Google"
         },
         {
            "uri":"www.yahoo.com",
            "date_dt":"2017-03-30T23:00:00Z",
            "title":"Yahoo"
         }
      ]
   }
}

我目前的代码：

REFERENCE ASSEMBLY [Newtonsoft.Json];
REFERENCE ASSEMBLY [Microsoft.Analytics.Samples.Formats];

USING Microsoft.Analytics.Samples.Formats.Json;

DECLARE @INPUT_FILE string = @"{*}.json";
DECLARE @OUTPUT_FILE string = @"/Output/Output.csv";

@json =
EXTRACT
    uri string,
    date_dt string,
    title string,
FROM
    @INPUT_FILE
USING new MultiLevelJsonExtractor("docs[*]", true, "uri", "date_dt", "title");

OUTPUT @json
TO @OUTPUT_FILE
USING Outputters.Csv(outputHeader:true,quoting:true);

这只输出标题行。我引用多个文件的方式有问题吗？例如{*}。json？

我只想从每个JSON文件中提取 docs 节点集中的三个字段并输出到CSV。

Answer 1

您希望.csv如何查看输出？我刚刚将json路径更改为response.docs[*]并为您的示例json获取了两行，即

@json =
    EXTRACT uri string,
            date_dt string,
            title string
    FROM @INPUT_FILE
    USING new MultiLevelJsonExtractor("response.docs[*]", true, "uri", "date_dt", "title");

我的结果：