将JSON数据下载到R中

时间:2012-10-22 03:59:56

标签: json r web-scraping

我需要:

  1. 下载http://api.crunchbase.com/v/1/companies.js提供的所有公司名称的解析文件

  2. 使用每个公司名称运行查询,使用语法'http://api.crunchbase.com/v/1/company下载每个公司信息的解析文件(例如Founded_year,funder公司名称) /permalink.js'

  3. 我想将这些数据解析为电子表格或其他格式,然后我可以导入R进行分析。

    将此数据导入R的最佳格式是什么?如何下载数据并将其组织成类似表格的结构? (例如,Row = company,columns = profile_year等个人资料信息)(最终目标是在R中进行分析)

1 个答案:

答案 0 :(得分:8)

library(RJSONIO)
library(RCurl)

# grab the data
raw_data <- getURL("http://api.crunchbase.com/v/1/companies.js")
# Then covert from JSON into a list in R
data <- fromJSON(raw_data)
length(data)
[1] 101782
# We can coerce this to a data.frame
 final_data <- do.call(rbind, data)
 # Then write it to a flat csv file
 write.csv(final_data, "final_data.csv")


> head(final_data)
     name                permalink     category_code
[1,] "Wetpaint"          "wetpaint"    "web"        
[2,] "AdventNet"         "adventnet"   "enterprise" 
[3,] "Zoho"              "zoho"        "software"   
[4,] "Digg"              "digg"        "web"        
[5,] "Facebook"          "facebook"    "web"        
[6,] "Photobucket, Inc." "photobucket" "web"