Question

在我的MS SQL表中，我有一个日期存储为字符串的列格式为“dd-mm-yyyy 00：00：00.000” 例如：1999-10-06 00：00：00.000或2000-04-27 00：00：00.000

在导入期间，我想将此列的值转换为日期类型。

我看到了一个名为filter的功能，它可以进行这种类型的转换。我找到了一些示例，但仅用于解析由Beats带来的带有正则表达式的日志全文行。

如何在sql列中使用此功能？例如，如何调整此conf文件以使其正常工作？

 input {
    jdbc {
        jdbc_connection_string => "jdbc:localhost;"
          jdbc_user => "user"
          jdbc_password => "pass"
       jdbc_driver_library => "C:\Program Files (x86)\jdbc\sqljdbc_6.0\enu\sqljdbc42.jar"
        jdbc_driver_class => "com.microsoft.sqlserver.jdbc.SQLServerDriver"
        statement => "SELECT  * FROM SOLD"
    }
}

filter
{
     date {
         match => [ "DATE_COLUMN", "YYYY-MM-dd 00:00:00.000" ]
    }
}

output {
    elasticsearch { 
       hosts => "localhost:9200"
       index => "indexname"
       document_type => "typename"

    }
}

目前此conf不起作用并创建此ES文本字段：

 "date_column": {
          "type": "text",
          "fields": {
            "keyword": {
              "type": "keyword",
              "ignore_above": 256
          }
     }
  }

Answer 1

所以回答是在编写小写列的名称时使用此过滤器：

filter
{
     date {
         match => [ "date_column", "yyyy-MM-dd HH:mm:ss.SSS" ]
    }
}

并为此日期格式制作弹性搜索映射列：

PUT /index
{
     "mappings": {
      "type": {
        "properties": {
         "date_column": {
            "type": "date",
            "format": "yyyy-MM-dd HH:mm:ss.SSS"
          }
        }
      }
    }
}

Answer 2

如果数据库中有一个名为myDateField的字段，则在使用JDBC输入{}后，应该得到一个具有相同名称的字段。然后，您可以请求logstash处理（“过滤器”）并输出此数据。

logstash中包含50多个过滤器（请参阅the doc）。

要将字段设为日期，请使用日期{}过滤器。请注意，此过滤器通常用于设置logstash的“@timestamp”字段，但如果需要，您可以将日期放入其他字段（甚至覆盖同一字段）。

Logstash jdbc插件：如何使用列的日期过滤器？

2 个答案: