从R导入数据到弹性搜索

时间:2016-05-23 09:08:37

标签: json r api elasticsearch

Hej亲爱的社区,

我现在正试图将API调用中的数据导入(并在R中处理JSON输出)到弹性搜索的索引中。

“stored”是一个包含20个obs的数据帧。沿着113个变量。但是,弹性搜索仅复制20个中的7个。进入索引。这些都是根据价值观正确转移的。

但是,我无法解释我错过其他13个观察的地点和原因。我正在使用的代码,见下文

stored <- fromJSON(API_URL)
stored <- stored[['results']]

connect(es_base = "xxx.xxx.x.xx", es_port = xxxx)
connection()

docs_bulk(stored, index="data", raw = FALSE, chunk_size = 100000)

先谢谢了: - )

1 个答案:

答案 0 :(得分:0)

感谢Sckott,我们能够解决问题。

来自API调用的Json文件不是100% - UTF8编码。通过使用fromJSON进行URL-Call,它为数据输入了其他字符。但是,添加readLines可以避免此问题。我使用的最终代码是:

Output_FT <- fromJSON(readLines(BWURL_x), flatten = TRUE)
stored <- Output_FT[['results']]
connect(es_base = "xxx.xxx.x.xx", es_port = xxxx)
connection()
docs_bulk(stored, index="data")

最佳,