Question

我正在测试我正在开发的应用程序的数据湖。我是U-SQL和数据湖的新手，我只是试图查询JSON文件中的所有记录。现在，它只返回一条记录，我不知道为什么，因为该文件大约有200条。

我的代码是：

DECLARE @input string = @"/MSEStream/output/2016/08/12_0_fc829ede3c1d4cf9a3278d43e7e4e9d0.json";

REFERENCE ASSEMBLY [Newtonsoft.Json];
REFERENCE ASSEMBLY [Microsoft.Analytics.Samples.Formats];


@allposts = 
EXTRACT 
    id  string
FROM @input 
USING new Microsoft.Analytics.Samples.Formats.Json.JsonExtractor();

@result =
SELECT *
FROM @allposts;

OUTPUT  @result
TO  "/ProcessedQueries/all_posts.csv"
USING Outputters.Csv();

数据示例：

{
"id":"398507",
"contenttype":"POST",
"posttype":"post",
"uri":"http://twitter.com/etc",
"title":null,
"profile":{
   "@class":"PublisherV2_0",
   "name":"Company",
   "id":"2163171",
   "profileIcon":"https://pbs.twimg.com/image",
   "profileLocation":{
      "@class":"DocumentLocation",
      "locality":"Toronto",
      "adminDistrict":"ON",
      "countryRegion":"Canada",
      "coordinates":{
         "latitude":43.7217,
         "longitude":-31.432},
         "quadKey":"000000000000000"},
      "displayName":"Name",
      "externalId":"00000000000"},
   "source":{
       "name":"blogs",
       "id":"18",
       "param":"Twitter"},
   "content":{
       "text":"Description of post"},
       "language":{
           "name":"English",
           "code":"en"},
       "abstracttext":"More Text and links",
       "score":{}
   }
}

感谢您提前获得帮助

Answer 1

JsonExtractor接受一个参数，该参数允许您使用JSON Path表达式指定将哪些项或对象映射到行。如果您没有指定任何内容，它将采用顶部根（即一行）。

您需要数组中的每个项目，因此请将其指定为：

使用新的Microsoft.Analytics.Samples.Formats.Json.JsonExtractor（“[*]”）;

其中[*]是JSON Path表达式，它表示给我数组的所有元素，在本例中是顶级数组。

Answer 2

如果您的字段中有一个名为id的JSON节点，则问题中发布的原始脚本将返回根节点下名为“id”的节点。要获取所有节点，您的脚本将结构为

@allposts = 
EXTRACT 
    id  string,
    contenttype string,
    posttype string,
    uri string,
    title string,
    profile string
FROM @input 
USING new Microsoft.Analytics.Samples.Formats.Json.JsonExtractor();

如果有效，请告诉我们。另一种方法是使用本机提取器将其解压缩以在字符串中读取所有内容（正如MRys所提到的，只要您的JSON低于128 KB，这将有效）。

@allposts = 
EXTRACT
   json string
FROM @input
USING Extractors.Text(delimiter:'\b', quoting:false);

U-SQL Json Extractor只拉一条记录

2 个答案: