我已从Maxmind下载GeoLiteCountry
CSV文件 - http://www.maxmind.com/app/geolitecountry。使用给我的格式作为标准(这样可以成为一个自动化任务)我试图将所有数据导入到表中。
我创建了一个新表IPCountries2
,其中的列与提供的列完全匹配:
FromIP varchar(50),
ToIP varchar(50),
BeginNum bigint,
EndNum bigint,
CountryCode varchar(50),
CountryName varchar(250)
使用我能找到的各种代码块,我无法使用字段终止符和行终止符来使用它:
BULK
INSERT CSVTest
FROM 'c:\csvtest.txt'
WITH
(
FIELDTERMINATOR = '","',
ROWTERMINATOR = '\n'
)
GO
这样做的结果是插入了一行,所有正确的除了最后一行已经溢出了下一行(如果我没有限制,可能是整个数据库)。此外,第一个单元格在开头有一个引用。
我环顾四周,发现了一种称为格式文件的东西(从未使用过这些文件)。制作一个看起来像:
10.0
6
1 SQLCHAR 0 50 "," 1 FromIP ""
2 SQLCHAR 0 50 "," 2 ToIP ""
3 SQLBIGINT 0 19 "," 3 BeginNum ""
4 SQLBIGINT 0 19 "," 4 EndNum ""
5 SQLCHAR 0 50 "," 5 CountryCode ""
6 SQLCHAR 0 250 "\n" 6 CountryName ""
但bigint线上的这个错误:
Msg 4867,Level 16,State 1,Line 1
第1行第3列(BeginNum)的批量加载数据转换错误(溢出)。
它会执行10次然后因最大错误计数而停止。
如果我把它带入Excel并重新保存,我就能得到第一个方法,这删除了引号。但是,我不想依赖这种方法,因为我希望每周自动更新,而不必手动打开和重新保存。
我不介意我最终使用的两种方法中的哪一种,只要它适用于干净的文件。我查看了他们的文档,但他们只有PHP或MS Access的代码。
修改
CSV文件中的某些行:
"1.0.0.0","1.0.0.255","16777216","16777471","AU","Australia"
"1.0.1.0","1.0.3.255","16777472","16778239","CN","China"
"1.0.4.0","1.0.7.255","16778240","16779263","AU","Australia"
"1.0.8.0","1.0.15.255","16779264","16781311","CN","China"
"1.0.16.0","1.0.31.255","16781312","16785407","JP","Japan"
"1.0.32.0","1.0.63.255","16785408","16793599","CN","China"
"1.0.64.0","1.0.127.255","16793600","16809983","JP","Japan"
"1.0.128.0","1.0.255.255","16809984","16842751","TH","Thailand"
"1.1.0.0","1.1.0.255","16842752","16843007","CN","China"
"1.1.1.0","1.1.1.255","16843008","16843263","AU","Australia"
"1.1.2.0","1.1.63.255","16843264","16859135","CN","China"
"1.1.64.0","1.1.127.255","16859136","16875519","JP","Japan"
"1.1.128.0","1.1.255.255","16875520","16908287","TH","Thailand"
更新
经过一段时间的坚持,我能够使用原始方法(没有格式文档)使事情达到95%。但是,它略有改变,看起来像这样:
BULK INSERT IPCountries2
FROM 'c:\Temp\GeoIPCountryWhois.csv'
WITH
(
FIELDTERMINATOR = '","',
ROWTERMINATOR = '"'
)
GO
一切都按照他们的意愿进入正确的领域,我唯一的问题是在第一栏中有一个引用开头。一些样本数据:
FromIP ToIP BeginNum EndNum CountryCode Country
"2.21.248.0 2.21.253.255 34994176 34995711 FR France
"2.21.254.0 2.21.254.255 34995712 34995967 EU Europe
"2.21.255.0 2.21.255.255 34995968 34996223 NL Netherlands
答案 0 :(得分:2)
成功。 Searching around来自another forum的一些帮助终于让我解决了问题。对于那些需要类似解决方案的人,请继续阅读:
我最终使用格式文件方法 - 是否可以使用fieldterminators和行终止符我不确定。
我的SQL代码如下:
CREATE TABLE #TempTable
(
DuffColumn varchar(50),
FromIP varchar(50),
ToIP varchar(50),
BeginNum bigint,
EndNum bigint,
CountryCode varchar(50),
CountryName varchar(250)
)
BULK
INSERT #TempTable
FROM 'c:\Temp\GeoIPCountryWhois.csv'
WITH
(
FORMATFILE = 'C:\Temp\format.fmt'
)
INSERT INTO IPCountries2 (FromIP, ToIP, BeginNum, EndNum, CountryCode, Country)
SELECT FromIP, ToIP, BeginNum, EndNum, CountryCode, CountryName FROM #TempTable
正如我的研究中所发现的那样,有必要使用一个无用的列,它只是捕获了第一个引用。
我的格式文件如下:
10.0
7
1 SQLCHAR 0 1 "" 1 DuffColumn ""
2 SQLCHAR 0 50 "\",\"" 2 FromIP ""
3 SQLCHAR 0 50 "\",\"" 3 ToIP ""
4 SQLCHAR 0 19 "\",\"" 4 BeginNum ""
5 SQLCHAR 0 19 "\",\"" 5 EndNum ""
6 SQLCHAR 0 50 "\",\"" 6 CountryCode ""
7 SQLCHAR 0 250 "\"\n" 7 CountryName ""
要注意,尽管最终存储为BIGINT,但BeginNum和EndNum都作为SQLCHARS传入,否则插入会对数字进行奇数乘法(有关将其读作字节而不是数字,我并不完全理解它。)
就是这样。完全自动化此脚本的最后一件事是首先截断表以清除旧记录。然而,这可能不是每个人的需要。
答案 1 :(得分:1)
我刚刚使用了这篇文章http://www.webstein.net/blog/importing-maxmind-ip-database-into-sql-server。
在7分钟内完成!!
非常感谢劳尔。
它为我提供了很多关于如何导入这些文件的文章。
我唯一要做的就是从两个文件中删除第一行。我使用了Notepad ++,它也完成了这项工作。
答案 2 :(得分:0)
尝试此命令。我所做的就是删除FIELDTERMINATOR中的双引号:
BULK
INSERT CSVTest
FROM 'c:\csvtest.txt'
WITH
(
FIELDTERMINATOR = ',',
ROWTERMINATOR = '\n'
)
GO
您的数据字段实际上以逗号结尾,而不是用引号括起来的逗号。我还建议构建一个与源文件的数据类型完全匹配的登台/导入表,在这种情况下看起来像:
FromIP varchar(50),
ToIP varchar(50),
BeginNum varchar(50),
EndNum varchar(50),
CountryCode varchar(50),
CountryName varchar(250)
您的BeginNum和EndNum的源数据实际上是字符串,而不是bigint。将数据导入临时表后,可以将其转换。
答案 3 :(得分:-1)
declare @sql varchar(1000)
declare @filename varchar(100) = 'C:\Temp\GeoIPCountryWhois.csv'
set @sql =
'BULK INSERT geoip FROM ''' + @filename + '''
WITH
(
CHECK_CONSTRAINTS,
FIELDTERMINATOR = '','',
ROWTERMINATOR = ''' + char(0x0A) + '''
)'
exec (@sql)