从瑞典统计局下载数据。查询中的瑞典字符

时间:2017-02-20 08:58:06

标签: r httr

我已设法使用网站api从瑞典统计局检索一些数据。 这个问题的答案解决了我的大多数问题。

How do I POST a JSON formatted request to GET JSON data from a URL in R into the data.frame in a less verbose manner?

但我还有两个问题。

如果我在json-question中有变形字符(如“Å”,“Ä”,“Ö”),我会收到服务器的“404”回复。

我正在尝试从此表中下载数据:

Population 16+ years (RAMS) by region, employment, age and sex. Year 2004 - 2015

(如果单击“继续”,然后单击“此表的api”,您可以在网站上获取查询,但是您必须将响应格式从“px”更改为“json”。)< / p>

此代码有效:

library(jsonlite)
library(httr)

bodytxt <- '{
  "query": [
{
  "code": "Region",
  "selection": {
  "filter": "vs:RegionKommun07",
  "values": [
  "0114",
  "1280"
  ]
  }
},
  {
  "code": "Alder",
  "selection": {
  "filter": "item",
  "values": [
  "16-19"
  ]
  }
  },
  {
  "code": "Tid",
  "selection": {
  "filter": "item",
  "values": [
  "2015"
  ]
  }
  }
  ],
  "response": {
  "format": "json"
  }
  }'


req <- POST("http://api.scb.se/OV0104/v1/doris/en/ssd/START/AM/AM0207/AM0207H/BefSyssAldKonK",
            body = bodytxt, encode = "json")

stop_for_status(req)
json <- content(req, "text")


# JSON starts with an invalid character:
validate(json)
json <- substring(json, 2)
validate(json)

# Now we can parse
object <- fromJSON(json)
print(object)

但是,如果我更改查询以使其包含“Ö”,则不起作用。例如:

bodytxt <- '{
  "query": [
    {
      "code": "Region",
      "selection": {
        "filter": "vs:RegionKommun07",
        "values": [
          "0114",
          "1280"
          ]
      }
    },
    {
      "code": "Sysselsattning",
      "selection": {
        "filter": "item",
        "values": [
          "FÖRV"
          ]
      }
    },
    {
      "code": "Alder",
      "selection": {
        "filter": "item",
        "values": [
          "16-19"
          ]
      }
    },
    {
      "code": "Tid",
      "selection": {
        "filter": "item",
        "values": [
          "2015"
          ]
      }
    }
    ],
  "response": {
    "format": "json"
  }
}'

我遇到的另一个问题是,据我所知,应该可以将json查询更改为列表并将列表包含在对服务器的调用中,但是我得到了“404” - 错误。例如:

body_list <- fromJSON(bodytxt)
req <- POST("http://api.scb.se/OV0104/v1/doris/en/ssd/START/AM/AM0207/AM0207H/BefSyssAldKonK",
            body = body_list, encode = "json")

我做错了什么?

诗!我知道它在CRAN上存在一个很好的包,名为pxweb,非常容易从瑞典统计数据库下载数据。但我想学习api和pxwed不允许我跳过查询中的维度。

系统:Windows 7,r脚本以utf-8编码保存。

1 个答案:

答案 0 :(得分:3)

尝试fromJSON()的这些参数:

library(httr)
library(jsonlite)

您的数据:

bodytxt <- '{
  "query": [
    {
      "code": "Region",
      "selection": {
        "filter": "vs:RegionKommun07",
        "values": [
          "0114",
          "1280"
          ]
      }
    },
    {
      "code": "Sysselsattning",
      "selection": {
        "filter": "item",
        "values": [
          "FÖRV"
          ]
      }
    },
    {
      "code": "Alder",
      "selection": {
        "filter": "item",
        "values": [
          "16-19"
          ]
      }
    },
    {
      "code": "Tid",
      "selection": {
        "filter": "item",
        "values": [
          "2015"
          ]
      }
    }
    ],
  "response": {
    "format": "json"
  }
}'

修改后的fromJSON()转换:

query <- jsonlite::fromJSON(bodytxt,
                            simplifyVector=FALSE,
                            simplifyDataFrame=FALSE)

你做了同样的电话(为了我的利益添加verbose(),但你可以删除它):

URL <- "http://api.scb.se/OV0104/v1/doris/en/ssd/START/AM/AM0207/AM0207H/BefSyssAldKonK"
req <- POST(URL, body=query, encode="json", verbose())

结果:

content(req, simplifyDataFrame=TRUE)

## Warning: JSON string contains (illegal) UTF8 byte-order-mark!

## $columns
##             code                        text type
## 1         Region                      region    d
## 2 Sysselsattning           employment status    d
## 3          Alder                         age    d
## 4            Tid                        year    t
## 5       AM0207F2 Population 16+ years (RAMS)    c
## 
## $comments
## list()
## 
## $data
##                       key values
## 1 0114, FÖRV, 16-19, 2015    379
## 2 1280, FÖRV, 16-19, 2015   1443

警告是由于API服务器正在发送带有结果的字节顺序标记这一事实(它是一个Microsoft服务器,所以当它涉及到这种情况时,它们就像脑子一样死了)。 jsonlite(进行转换的content()内的位)可以处理它。