Question

我们很难找出给sys.dm_fts_parser提供的两个相似的字符串会给出不同的结果

select * from sys.dm_fts_parser('"0 CAD"', 0, null, 0)

似乎认为＆＃34; 0 CAD＆＃34;是一个标记（返回2个标记）

select * from sys.dm_fts_parser('"0 cad"', 0, null, 0)

返回3个令牌 - 正确

更重要的是，更令人困惑的是为什么

select * from Table where contains(*,"point 5 CAD")有效 select * from Table where contains(*,"point 5 cad")失败

其中搜索的列包含＆＃34;点5 CAD＆＃34; -

全文索引构建器是否应该根据索引设置忽略干扰词（例如＆＃34; 5＆＃34;）或包含它。
我们已经试过了两个，并且无法解释为什么＆＃34; nnnn CAD＆＃34;是特别的东西

请注意，根据http://msdn.microsoft.com/en-us/library/ms142583.aspx

，全文假设不区分大小写

我错过了什么？

编辑：使用SQL 2012 11.0.2218

Answer 1

您必须使用分词系统的正确语言环境标识符（lcid）。因此，您需要将第二个参数替换为1033

SELECT * 
FROM sys.dm_fts_parser('"0 CAD"', 1033, null, 0)

返回3个令牌

SELECT * 
FROM sys.dm_fts_parser('"0 cad"', 1033, null, 0)

返回3个令牌

还需要选择英语作为每列的断字语言。

USE [YourDB]
GO
ALTER FULLTEXT INDEX ON [dbo].[YourTable] DROP ([YourColumn]) 
GO
USE [YourDB]
GO
ALTER FULLTEXT INDEX ON [dbo].[YourTable] ADD ([YourColumn] LANGUAGE [English])
GO

Answer 2

我的团队也遇到了这种奇怪的标记化行为。我们的解决方法是将LOWER应用于查询和搜索文本。

作为Haroon previously identified，问题似乎来自于令牌化工具，它会识别数字附近的某些大写货币代码并对其进行不同的处理。以下查询说明了这一点：

SELECT * FROM sys.dm_fts_parser ('"syp 123"', 1033, 0, 0) -- Works fine
SELECT * FROM sys.dm_fts_parser ('"SYP 123"', 1033, 0, 0) -- Doesn't work

我们编写了一个脚本，用于标识出现此行为的所有1-4个字母字符组合：

DECLARE @CurrencyCodes TABLE (CurrencyCode varchar(4), TokenCount int)
DECLARE @Start int = 65 -- A
DECLARE @End int = 90 -- Z

DECLARE @A int, @B int, @C int, @D int

SET @A = @Start
WHILE NOT (@A > @End) BEGIN
    INSERT INTO @CurrencyCodes VALUES (CHAR(@A), NULL)
    SET @B = @Start
    WHILE NOT (@B > @End) BEGIN
        INSERT INTO @CurrencyCodes VALUES (CHAR(@A) + CHAR(@B), NULL)
        SET @C = @Start
        WHILE NOT (@C > @End) BEGIN
            INSERT INTO @CurrencyCodes VALUES (CHAR(@A) + CHAR(@B) + CHAR(@C), NULL)
                SET @D = @Start
                WHILE NOT (@D > @End) BEGIN
                    INSERT INTO @CurrencyCodes VALUES (CHAR(@A) + CHAR(@B) + CHAR(@C) + CHAR(@D), NULL)
                    SET @D = @D + 1
                END
            SET @C = @C + 1
        END
        SET @B = @B + 1
    END
    SET @A = @A + 1
END

UPDATE @CurrencyCodes SET TokenCount = (SELECT COUNT(1) FROM sys.dm_fts_parser ('"' + CurrencyCode + '123,456"', 1033, 0, 0))

SELECT CurrencyCode FROM @CurrencyCodes WHERE TokenCount = 2

根据该查询，我们发现以下任何273代码都存在问题：

ADF ADP AED AFA AFN ALK ALL AMD ANG AOA AON AOR ARA ARL ARM ARP ARS ATS AUD AWG AZM AZN BAM BBD BDT BEC BEF BEL BGJ BGK BGL BGN BHD BIF BMD BND BOB BOP BOV BRB BRC BRE BRL BRN BRR BRZ BSD BTN BWP BYR BZD CAD CDF CFP CHE CHF CHW CLF CLP CNX CNY COP COU CRC CSD CSJ CSK CUP CVE CYP CZK DDM DEM DJF DKK DM DOP DZD ECS ECV EEK EGP EQE ERN ESA ESB ESP ETB EUR EURO FF FIM FJD FKP FRF GBP GEL GHC GHS GIP GMD GNE GNF GRD GTQ GWP GYD HKD HNL HRK HTG HUF IDR IEP ILP ILR ILS INR IQD IRR ISJ ISK ITL JMD JOD JPY KES KGS KHR KMF KPW KRW KWD KYD KZT LAJ LAK LBP LKR LRD LSL LTL LUF LVL LYD MAD MAF MCF MDL MGA MGF MKD MKN MMK MNT MOP MRO MTL MUR MVQ MVR MWK MXN MXP MXV MYR MZM MZN NAD NGN NIO NLG NOK NPR NZD OMR PAB PEH PEI PEN PGK PHP PKR PLN PLZ PTE PYG QAR ROL RON RSD RUB RUR RWF SAR SBD SCR SDD SDG SEK SGD SHP SIT SKK SLL SML SOS SRD SRG STD SUR SVC SYP SZL THB TJR TJS TMM TND TOP TPE TRL TRY TTD TWD TZS UAH UAK UGS UGX USD USN USS UYI UYN UYU UZS VAL VEB VEF VNC VND VUV WST XAF XAG XAU XBA XBB XBC XBD XCD XDR XEC XEU XFO XFU XOF XPD XPF XPT XTS YDD YER YUD YUM ZAL ZAR ZMK ZRN ZRZ ZWC ZWD

Answer 3

使用SQL 2008时

select * from sys.dm_fts_parser('"0 CAD"', 0, null, 0) - gives 2 tokens   
select * from sys.dm_fts_parser('"0 CAD"', 1033, null, 0) - gives 3 tokens

在SQL 2012（11.0.3218）上：

select * from sys.dm_fts_parser('"0 CAD"', 1033, null, 0) - gives 2 tokens

在SQL 2012中，Microsoft推出了一个新的分词系统（版本14.0.4763.1000）http://msdn.microsoft.com/en-us/library/gg509108.aspx

工作断路器现在似乎识别出3个字符的ISO 4217货币代码，如果在3个字符代码之前有一个数字，它就不会被分解。

Answer 4

我用过这样的东西..

从FROM sys.dm_fts_parser中选择*（N＆＃39;＆＃34;＆＃39; + @ P_SEARCHSTRING +＆＃39;＆＃34;＆＃39;＆＃39;，1033,0,0）其中display_term NOT LIKE ＆＃39; NN％＆＃39;

因此，它避免了以＆＃39; nn＆＃39;

开头的所有令牌

sys.dm_fts_parser sql全文

4 个答案: