Question

我在kafka中有一种特定格式的消息。他们被分开了。现在使用宁静来解析这个我使用下面的解析规范。

        "parser" : {
            "type" : "string",
            "parseSpec" : {
              "timestampSpec" : {
                "column" : "datetime",
                "format" : "yyyy-MM-dd HH:mm:ss"
              },
              "dimensionsSpec" : {
                "dimensions" : [],
                "dimensionExclusions" : [
                  "datetime"
                ]
              },
              "format" : "javascript",
              "function" : "function(str) { var parts = str.split('^'); return { key1:parts[0],key2:parts[1],key3:parts[2] } }"
            }
          },

但是，当我通过kafka生产者插入一条线并检查宁静日志时。它显示droppedCount=1。所以它放弃了消息。我在浏览器中查看了上面的javascript函数。它工作正常。这可能有什么问题？

Answer 1

我认为它不支持javascript格式。

我的经验是，Tranquility不支持全套德鲁伊配置，而文件清楚地提到了＃34; spec - 一个没有ioConfig＆＃34;的德鲁伊摄取规范，并链接到德鲁伊配置文件。我花了很多时间在非工作功能上。我甚至在调试器中通过代码来运行它以确保。

我建议Kafka extension最近添加到德鲁伊。你不需要宁静。我相信德鲁伊支持的所有格式都适用于这种方法。请试试。

Tranquility已经很长时间没有更新了。我建议继续摄取本地卡夫卡。

使用javascript解析数据时，德鲁伊卡夫卡摄取失败

1 个答案: