Question

我正在使用弹性搜索。我需要弹性搜索的结果作为csv文件。任何卷曲网址或任何插件来实现这一目标？提前谢谢。

Answer 1

我已经使用cURL和jq完成了这项工作（＆＃34;与sed类似，但对于JSON＆＃34;）。例如，您可以执行以下操作以获取给定构面的前20个值的CSV输出：

$ curl -X GET 'http://localhost:9200/myindex/item/_search?from=0&size=0' -d '
    {"from": 0,
    "size": 0,
    "facets": {
      "sourceResource.subject.name": {
        "global": true,
        "terms": {
          "order": "count",
          "size": 20,
          "all_terms": true,
          "field": "sourceResource.subject.name.not_analyzed"
        }
      }
    },
    "sort": [
      {
        "_score": "desc"
      }
    ],
    "query": {
      "filtered": {
        "query": {
          "match_all": {}
        }
      }
    }
  }' | jq -r '.facets["subject"].terms[] | [.term, .count] | @csv'

"United States",33755
"Charities--Massachusetts",8304
"Almshouses--Massachusetts--Tewksbury",8304
"Shields",4232
"Coat of arms",4214
"Springfield College",3422
"Men",3136
"Trees",3086
"Session Laws--Massachusetts",2668
"Baseball players",2543
"Animals",2527
"Books",2119
"Women",2004
"Landscape",1940
"Floral",1821
"Architecture, Domestic--Lowell (Mass)--History",1785
"Parks",1745
"Buildings",1730
"Houses",1611
"Snow",1579

Answer 2

我成功使用了Python，脚本方法直观而简洁。 python的ES客户端让生活变得轻松。首先在这里抓住最新的Python Elasticsearch客户端：
http://www.elasticsearch.org/blog/unleash-the-clients-ruby-python-php-perl/#python

然后您的Python脚本可以包含以下调用：

import elasticsearch
import unicodedata
import csv

es = elasticsearch.Elasticsearch(["10.1.1.1:9200"])
# this returns up to 500 rows, adjust to your needs
res = es.search(index="YourIndexName", body={"query": {"match": {"title": "elasticsearch"}}},500)
sample = res['hits']['hits']

# then open a csv file, and loop through the results, writing to the csv
with open('outputfile.tsv', 'wb') as csvfile:   
    filewriter = csv.writer(csvfile, delimiter='\t',  # we use TAB delimited, to handle cases where freeform text may have a comma
                        quotechar='|', quoting=csv.QUOTE_MINIMAL)
    # create column header row
    filewriter.writerow(["column1", "column2", "column3"])    #change the column labels here
    # fill columns 1, 2, 3 with your data 
    col1 = hit["some"]["deeply"]["nested"]["field"].decode('utf-8')  #replace these nested key names with your own
    col1 = col1.replace('\n', ' ')
    # col2 = , col3 = , etc...
    for hit in sample: 
        filewriter.writerow([col1,col2,col3])

您可能希望在try / catch错误处理中包含对列['key']引用的调用，因为文档是非结构化的，并且可能不时有该字段（取决于您的索引）。

我有一个完整的Python示例脚本，使用最新的ES python客户端：

https://github.com/jeffsteinmetz/pyes2csv

Answer 3

您可以使用elasticsearch head插件。您可以从elasticsearch head plugin安装 http://localhost:9200/_plugin/head/ 安装插件后，导航到结构化查询选项卡，提供查询详细信息，然后从“输出结果”下拉列表中选择“csv”格式。

Answer 4

我认为没有一个插件会直接从搜索引擎中为您提供CSV结果，因此您必须查询ElasticSearch以检索结果，然后将其写入CSV文件。

命令行

如果您使用的是类Unix操作系统，那么您可以使用es2unix取得一些进展，这将在命令行上以原始文本格式返回搜索结果，因此应该是可编写脚本的。

然后，您可以将这些结果转储到文本文件或管道到awk或类似格式为CSV。可以使用-o标记，但目前只提供“原始”格式。

爪哇

我找到了一个示例using Java - 但尚未对其进行测试。

的Python

您可以使用类似pyes的内容查询ElasticSearch，并将结果集写入带有标准csv编写器库的文件。

的Perl

使用Perl然后你可以使用由Rakesh链接的Clinton Gormley的GIST - https://gist.github.com/clintongormley/2049562

Answer 5

无耻的插头。我写了estab - 一个命令行程序，用于将弹性搜索文档导出为制表符分隔值。

示例：

$ export MYINDEX=localhost:9200/test/default/
$ curl -XPOST $MYINDEX -d '{"name": "Tim", "color": {"fav": "red"}}'
$ curl -XPOST $MYINDEX -d '{"name": "Alice", "color": {"fav": "yellow"}}'
$ curl -XPOST $MYINDEX -d '{"name": "Brian", "color": {"fav": "green"}}'

$ estab -indices "test" -f "name color.fav"
Brian   green
Tim     red
Alice   yellow

Estab可以处理来自多个索引，自定义查询，缺失值，值列表，嵌套字段的导出，并且速度相当快。

Answer 6

我一直在使用https://github.com/robbydyer/stash-query存储查询。

我发现它非常方便且运行良好，虽然每次重做时都会遇到安装困难（这是因为我不能非常流畅地使用宝石和红宝石）。

在Ubuntu 16.04上，似乎有用的是：

apt install ruby
sudo apt-get install libcurl3 libcurl3-gnutls libcurl4-openssl-dev
gem install stash-query

然后你应该好好去

安装Ruby
安装Ruby的curl依赖项，因为存储查询工具正在通过elasticsearch的REST API工作
安装存储查询

此博客文章描述了如何构建它：

https://robbydyer.wordpress.com/2014/08/25/exporting-from-kibana/

Answer 7

你可以使用elasticsearch2csv是一个小而有效的python3脚本，它使用Elasticsearch滚动API并处理大的查询响应。

Answer 8

您可以使用GIST。这很简单。它在Perl中，您可以从中获得一些帮助。

请下载并查看GitHub上的用法。链接在这里。 GIST GitHub

或者如果你想在Java中，那么请去elasticsearch-river-csv

elasticsearch-river-csv

在弹性搜索中是否有任何方法可以在curl api中将结果作为CSV文件获取？

8 个答案:

命令行

爪哇

的Python

的Perl