如何在elasticsearch中索引twitter数据？

Question

我使用流式api从twitter获取了一些数据。该文件具有与数据对应的json行。我想在elasticsearch中索引这些数据，以便可以轻松搜索。

我使用以下命令来索引

cat file.json | jq -c '.[] | {"index": {"_index": "bookmarks", "_type": "bookmark", "_id": .id}}, .' | curl -XPOST localhost:9200/_bulk --data-binary @-

但会导致以下错误。

jq: error (at <stdin>:127687): Cannot index string with string "id"

Answer 1

您可以简单地使用Logstash Twitter输入，而不是手动执行所有操作。

我写了一篇关于它的blog post。