使用R从API中提取数据

时间:2018-01-11 17:26:37

标签: json r azure httr

我可以访问azure中的一些遥测数据(特别是使用移动应用的客户的所有API调用)。我已经使用R中的httr包在3分钟内请求数据并评估响应(显然有我自己的应用ID和密钥,我没有在下面包含):

install.packages("httr")
library(httr)

r1 <- GET("https://api.applicationinsights.io/v1/apps/application-ID/query?timespan=PT0.05H&query=requests", add_headers("X-Api-Key" = "my-unique-key"))

r1

####### response object ########
# Response [https://api.applicationinsights.io/v1/apps/application-ID/query?timespan=PT0.05H&query=requests]
# Date: 2018-01-11 15:55
# Status: 200
# Content-Type: application/json; charset=utf-8
# Size: 84.7 kB

在环境窗口中,我可以看到r1是10的列表,并且有84,652个原始值:

enter image description here

我也可以使用内容功能看到我有一个1的列表:

r2 <- content(r1)

enter image description here

我真的有两个问题:

1)如何在环境窗口中理解这些输出?他们告诉我什么是我的数据结构(我认为它是基于内容类型描述的JSON)

2)有没有办法检索数据并将其变成表格格式(数据框)?我不明白如何查询数据。我读过这篇文章,但无法将其应用于我的数据:https://tclavelle.github.io/blog/r_and_apis/

任何帮助都将不胜感激。

更新19/01/18

我使用了jalind的建议。请参阅下面的代码和输出:

library(httr)
library(jsonlite)

r1 <- GET("https://api.applicationinsights.io/v1/apps/application-ID/query?timespan=PT0.05H&query=requests", add_headers("X-Api-Key" = "my-unique-key"))

#convert to a character string
r2 <- rawtoChar(r1$content)  

#check the class is character
class(r2)    

# now extract JSON from string object
r3 <- fromJSON(r2)

# convert to a data frame - this returns a data frame with columns called name, columns and rows 
x <- as.data.frame(r3[[1]])  

# column headings data frame (there are 37 columns - see example of first 3 columns below):               
c <- as.data.frame(x$columns)

#                       name      type
#                  timestamp    datetime
#                         id     string
#                     source     string

# data frame with 37 columns and all rows of telemetry data (only showing first 4 columns of this data frame):

r <- as.data.frame(x$rows)
#           X1                               X2                X3                  X4
# 1   2018-01-19T10:29:25.4Z       |aticCNxxxx=.f83assss_     <NA>          GET /Cards/Cardtype1
# 2   2018-01-19T10:29:30.226Z     |tX6Xz0xxxxx=.27cxcxae_    <NA>          GET /AddressLookup/Address
# 3   2018-01-19T10:29:45.327Z     |OgfPbicLues=.f83a9a1f_    <NA>          POST /Account/MobileDevice
# 4   2018-01-19T10:29:46.078Z     |V5MwpXXxxxxx=.f83axxxx_   <NA>          GET /Cards/Cardtype1
# 5   2018-01-19T10:30:00.427Z     |Jok8wxxxxxx=.7be33aaa_    <NA>          GET /cards/Cardtype1

1 个答案:

答案 0 :(得分:0)

p0bs是对的 - 你应该查看jsonlite软件包。

我不知道我是否可以完全帮助您解决问题的第一部分,但我可以帮助您将JSON纳入数据框架。

将GET函数应用于URL时,返回的原始内容为十六进制。

raw.result <- GET(url = url, path = path)
head(raw.result$content) ## This is in hex

Hex非常难以使用,因此您可以做的一件事就是将内容转换为字符串。您可以使用rawToChar函数执行此操作。

text.raw.content <- rawToChar(raw.result$content)
class(text.raw.content) ## Now its a string
nchar(text.raw.content) ## How many chars?

好的 - 所以现在你有一个字符串...这比十六进制更好...但仍然不是你想要的。但是你可以使用jsonlite包中的fromJSON函数从字符串对象中提取JSON。

json.content <- fromJSON(text.raw.content)
class(json.content) ## It's a list
length(json.content) ## With two elements
names(json.content) ## meta and data... makes sense...
class(json.content[[2]]) ## data.frame

因此,基本上,此列表的第二个元素是转换为本机R数据帧的JSON内容。根据我的经验,在你走到这一步之后必须进行更多的改变...但希望这能让你开始。