Question

将数据传输到Solr。使用morphline更改数据。

在morphline库中寻找几个基本功能：

根据其他属性值创建哈希值（例如hash =（＆＃34; sha-1＆＃34;，timestamp，message，host，..）
更改属性的字符串值的大小写（像regexp_replace一样更通用的东西）。

不想编写自定义Java处理程序..我认为应该有一种更简单的方法：）

Answer 1

（1）哈希函数的非通用解决方案，因为我无法找到开箱即用的morphline实现，硬编码的SHA-1（例如，no for loop，hard-coded 20字节）：

{       java {
            imports : "import java.security.*;"
            code: """
                try {
                    MessageDigest digest = MessageDigest.getInstance("SHA-1"); 
                    String value;

                    value = (String) record.getFirstValue("message");
                    if (value != null) { digest.update(value.getBytes("ISO-8859-1"), 0, value.length()); }
                    value = (String) record.getFirstValue("timestamp");
                    if (value != null) { digest.update(value.getBytes("ISO-8859-1"), 0, value.length()); }
                    value = (String) record.getFirstValue("hostname");
                    if (value != null) { digest.update(value.getBytes("ISO-8859-1"), 0, value.length()); }

                    byte[] a = digest.digest();
                    record.replaceValues("id"
                        , String.format("%02X%02X%02X%02X%02X%02X%02X%02X%02X%02X%02X%02X%02X%02X%02X%02X%02X%02X%02X%02X"
                            ,a[0]  ,a[1] ,a[2] ,a[3] ,a[4] ,a[5] ,a[6] ,a[7] ,a[8] ,a[9]    //SHA-1 has exactly 20 bytes
                            ,a[10],a[11],a[12],a[13],a[14],a[15],a[16],a[17],a[18],a[19]) );
                }
                catch (java.security.NoSuchAlgorithmException e) { logger.error("hash to id: caught NoSuchAlgorithmException for SHA-1"); }
                catch (java.io.UnsupportedEncodingException e)   { logger.error("hash to id: caught UnsupportedEncodingException"); }
                finally {
                    return child.process(record);
                }
            """
        }
}

（2）小写转换的非通用实现（我希望morphline有类似regexp_replace的东西）：

    java {
        code: """
            String program = (String) record.getFirstValue("program");
            String program_lc = program.toLowerCase();
            if (! program.equals(program_lc) )
            {   record.replaceValues("program", program_lc);        }
            return child.process(record);
        """
    }

morphline @ flume - 寻找正则表达式更改和哈希函数

1 个答案: