Question

我的logstash.yml如下：

  cloud.id: "Test:testkey"
  cloud.auth: "elastic:password"

""内的前面有2个空格，末尾没有空格

这就是我在logstash.yml中拥有的所有东西，
我得到了：

[2018-08-29T12:33:52,112][WARN ][logstash.outputs.elasticsearch] Attempted to resurrect connection to dead ES instance, but got an error. {:url=>"https://myserverurl:12345/", :error_type=>LogStash::Outputs::ElasticSearch::HttpClient::Pool::BadResponseCodeError, :error=>"Got response code '401' contacting Elasticsearch at URL 'https://myserverurl:12345/'"}

my_config_file_name.conf如下：

input{jdbc{...jdbc here... This works, as I see data in windows console}}
output {
    stdout { codec => json_lines }
    elasticsearch {
    hosts => ["myserverurl:12345"]
    index => "my_index"
    # document_id => "%{brand}"
    }

我正在做的是在Windows bin/logstash上击中cmd，
它从conf文件输入中配置的数据库中加载数据，然后显示错误，我想在Cloud上将数据从MySQL索引到elasticsearch，我进行了14天的试用并创建了一个测试索引，以供以后学习时使用。我的管道看起来像：

  - pipeline.id: my_id
    path.config: "./config/conf_file_name.conf"
    pipeline.workers: 1

如果日志中不包含敏感数据，我也可以提供。
基本上，我不会将MYSQL的数据与云上的ElasticSearch（即AWS

）同步（安排检查）

Answer 1

输出应为：

elasticsearch {
    hosts => ["https://yourhost:yourport/"]
    user => "elastic"
    password => "password"
    # protocol => https
    # port => "yourport"
    index => "test_index"
    # document_id => "%{table_id}"

#-表示评论

如Configuring logstash with elastic cloud docs

所述

在部署应用程序时提供的文档未提供jdbc的配置，即使在设置文件（即logstash.yml

中定义，jdbc也需要用户名和密码）

Answer 2

我在开发环境中添加了相同的问题。在Google上进行数小时的搜索后，根据我的理解，默认情况下，当您安装Logstash时，会安装X-Pack。文档https://www.elastic.co/guide/en/logstash/current/setup-xpack.html中指出

Blockquote

X-Pack是Elastic Stack扩展，可提供安全性，警报，监视，机器学习，管道管理和许多其他功能

Blockquote

由于在流Elasticsearch时不需要在我的开发人员中运行x-pack，因此我必须通过在索引文件配置的输出中将 ilm_enabled 设置为false来禁用它。 / p>

    output {
     elasticsearch { 
        hosts =>  [.. ]
        ilm_enabled => false
      }
    }

下面的链接可能有帮助 https://discuss.opendistrocommunity.dev/t/logstash-oss-with-non-removable-x-pack/655/3

Logstash Elastic Cloud 401未经授权的错误

2 个答案: