将Maxmind CSV导入SQL Server

时间:2012-03-20 16:38:57

标签: sql-server sql-server-2008 tsql csv csv-import

我已从Maxmind下载GeoLiteCountry CSV文件 - http://www.maxmind.com/app/geolitecountry。使用给我的格式作为标准(这样可以成为一个自动化任务)我试图将所有数据导入到表中。

我创建了一个新表IPCountries2,其中的列与提供的列完全匹配:

FromIP       varchar(50),
ToIP         varchar(50),
BeginNum     bigint,
EndNum       bigint,
CountryCode  varchar(50),
CountryName  varchar(250)

使用我能找到的各种代码块,我无法使用字段终止符和行终止符来使用它:

BULK
INSERT CSVTest
FROM 'c:\csvtest.txt'
WITH
(
    FIELDTERMINATOR = '","',
    ROWTERMINATOR = '\n'
)
GO

这样做的结果是插入了一行,所有正确的除了最后一行已经溢出了下一行(如果我没有限制,可能是整个数据库)。此外,第一个单元格在开头有一个引用。

我环顾四周,发现了一种称为格式文件的东西(从未使用过这些文件)。制作一个看起来像:

10.0
6
1   SQLCHAR     0   50  "," 1   FromIP      ""
2   SQLCHAR     0   50  "," 2   ToIP        ""
3   SQLBIGINT   0   19  "," 3   BeginNum    ""
4   SQLBIGINT   0   19  "," 4   EndNum      ""
5   SQLCHAR     0   50  "," 5   CountryCode ""
6   SQLCHAR     0   250 "\n"    6   CountryName ""

但bigint线上的这个错误:

  

Msg 4867,Level 16,State 1,Line 1
  第1行第3列(BeginNum)的批量加载数据转换错误(溢出)。

它会执行10次然后因最大错误计数而停止。

如果我把它带入Excel并重新保存,我就能得到第一个方法,这删除了引号。但是,我不想依赖这种方法,因为我希望每周自动更新,而不必手动打开和重新保存。

我不介意我最终使用的两种方法中的哪一种,只要它适用于干净的文件。我查看了他们的文档,但他们只有PHP或MS Access的代码。

修改

CSV文件中的某些行:

"1.0.0.0","1.0.0.255","16777216","16777471","AU","Australia"
"1.0.1.0","1.0.3.255","16777472","16778239","CN","China"
"1.0.4.0","1.0.7.255","16778240","16779263","AU","Australia"
"1.0.8.0","1.0.15.255","16779264","16781311","CN","China"
"1.0.16.0","1.0.31.255","16781312","16785407","JP","Japan"
"1.0.32.0","1.0.63.255","16785408","16793599","CN","China"
"1.0.64.0","1.0.127.255","16793600","16809983","JP","Japan"
"1.0.128.0","1.0.255.255","16809984","16842751","TH","Thailand"
"1.1.0.0","1.1.0.255","16842752","16843007","CN","China"
"1.1.1.0","1.1.1.255","16843008","16843263","AU","Australia"
"1.1.2.0","1.1.63.255","16843264","16859135","CN","China"
"1.1.64.0","1.1.127.255","16859136","16875519","JP","Japan"
"1.1.128.0","1.1.255.255","16875520","16908287","TH","Thailand"

更新

经过一段时间的坚持,我能够使用原始方法(没有格式文档)使事情达到95%。但是,它略有改变,看起来像这样:

BULK INSERT IPCountries2
FROM 'c:\Temp\GeoIPCountryWhois.csv'
WITH
(
    FIELDTERMINATOR = '","',
    ROWTERMINATOR = '"'
)
GO

一切都按照他们的意愿进入正确的领域,我唯一的问题是在第一栏中有一个引用开头。一些样本数据:

FromIP  ToIP    BeginNum    EndNum  CountryCode Country
 "2.21.248.0    2.21.253.255    34994176    34995711    FR  France
 "2.21.254.0    2.21.254.255    34995712    34995967    EU  Europe
 "2.21.255.0    2.21.255.255    34995968    34996223    NL  Netherlands

4 个答案:

答案 0 :(得分:2)

成功。 Searching around来自another forum的一些帮助终于让我解决了问题。对于那些需要类似解决方案的人,请继续阅读:

我最终使用格式文件方法 - 是否可以使用fieldterminators和行终止符我不确定。

我的SQL代码如下:

CREATE TABLE #TempTable
(
    DuffColumn  varchar(50),
    FromIP      varchar(50),
    ToIP        varchar(50),
    BeginNum    bigint,
    EndNum      bigint,
    CountryCode varchar(50),
    CountryName varchar(250)
)

BULK
INSERT #TempTable
FROM 'c:\Temp\GeoIPCountryWhois.csv'
WITH
(
    FORMATFILE = 'C:\Temp\format.fmt'
)

INSERT INTO IPCountries2 (FromIP, ToIP, BeginNum, EndNum, CountryCode, Country)
    SELECT FromIP, ToIP, BeginNum, EndNum, CountryCode, CountryName FROM #TempTable

正如我的研究中所发现的那样,有必要使用一个无用的列,它只是捕获了第一个引用。

我的格式文件如下:

10.0
7
1   SQLCHAR     0   1   ""      1   DuffColumn  ""
2   SQLCHAR     0   50  "\",\"" 2   FromIP      ""
3   SQLCHAR     0   50  "\",\"" 3   ToIP        ""
4   SQLCHAR     0   19  "\",\"" 4   BeginNum    ""
5   SQLCHAR     0   19  "\",\"" 5   EndNum      ""
6   SQLCHAR     0   50  "\",\"" 6   CountryCode ""
7   SQLCHAR     0   250 "\"\n"  7   CountryName ""

要注意,尽管最终存储为BIGINT,但BeginNum和EndNum都作为SQLCHARS传入,否则插入会对数字进行奇数乘法(有关将其读作字节而不是数字,我并不完全理解它。)

就是这样。完全自动化此脚本的最后一件事是首先截断表以清除旧记录。然而,这可能不是每个人的需要。

答案 1 :(得分:1)

我刚刚使用了这篇文章http://www.webstein.net/blog/importing-maxmind-ip-database-into-sql-server

在7分钟内完成!!

非常感谢劳尔。

它为我提供了很多关于如何导入这些文件的文章。

我唯一要做的就是从两个文件中删除第一行。我使用了Notepad ++,它也完成了这项工作。

答案 2 :(得分:0)

尝试此命令。我所做的就是删除FIELDTERMINATOR中的双引号:

BULK
INSERT CSVTest
FROM 'c:\csvtest.txt'
WITH
(
    FIELDTERMINATOR = ',',
    ROWTERMINATOR = '\n'
)
GO

您的数据字段实际上以逗号结尾,而不是用引号括起来的逗号。我还建议构建一个与源文件的数据类型完全匹配的登台/导入表,在这种情况下看起来像:

FromIP       varchar(50),
ToIP         varchar(50),
BeginNum     varchar(50),
EndNum       varchar(50),
CountryCode  varchar(50),
CountryName  varchar(250)

您的BeginNum和EndNum的源数据实际上是字符串,而不是bigint。将数据导入临时表后,可以将其转换。

答案 3 :(得分:-1)

declare @sql varchar(1000)
declare @filename varchar(100) = 'C:\Temp\GeoIPCountryWhois.csv'

set @sql = 
'BULK INSERT geoip FROM ''' + @filename + ''' 
WITH
(
CHECK_CONSTRAINTS,
FIELDTERMINATOR = '','',
ROWTERMINATOR = ''' + char(0x0A) + '''
)'
exec (@sql)