假设我有一个MDM系统(主数据管理),其主要应用是检测和防止记录重复。
每次销售代表进入系统中的新客户时,我的MDM平台都会对现有记录进行检查,计算一对单词或短语或属性之间的Levenshtein或Jaccard或XYZ距离,考虑权重和系数并输出相似度得分等。
典型的模糊匹配方案。
我想知道应用机器学习技术来优化匹配输出是否有意义,即以最高精度查找重复项。
它究竟是最有意义的。
关于这个话题也有this excellent answer但是我不知道那个人是否真的使用了ML。
另外我的理解是,加权模糊匹配已经是一个很好的解决方案,甚至可能从财务角度来看,因为无论何时部署这样的MDM系统,您都必须进行一些分析和预处理,无论是手动编码匹配规则或训练ML算法。
所以我不确定增加ML是否代表重要的价值主张。
任何想法都表示赞赏。
答案 0 :(得分:3)
使用机器学习的主要优点是节省时间。
如果有足够的时间,您可以手动调整权重并提出对您的特定数据集非常有用的匹配规则。机器学习方法可能难以超越为特定数据集定制的手工制作系统。
然而,手动制作一个好的匹配系统可能需要数天时间。如果您使用现有的ML来匹配工具,例如Dedupe,那么可以在一小时内(包括设置时间)学习好的权重和规则。
因此,如果您已经构建了一个在您的数据上表现良好的匹配系统,则可能不值得研究ML。但是,如果这是一个新的数据项目,那么它几乎肯定会是。
答案 1 :(得分:-1)
传统上,模糊记录匹配软件需要大量用户参与项目参数化和文书审查。用户要么提供各种输入参数和阈值,要么提供匹配的示例,要么为机器学习提供不匹配。在这两种情况下,相当多的用户参与和专业知识是成功分析的先决条件。 使用无监督机器学习的主要价值在于让软件自动生成解决方案,无需用户参与。 至少有一种这样的模糊匹配软件利用机器学习,称为“ReMaDDer”:http://remaddersoft.wixsite.com/remadder