我刚刚从dbpedia下载的这个csv数据集怎么办?

时间:2009-06-16 10:28:32

标签: php data-mining wikipedia

我刚从dbpedia下载了维基百科的这个csv信息框。但是我不知道如何使用它:-S我想将所有这些数据导入数据库,但我不确定如何从这里获取它。我是从http://wiki.dbpedia.org/Downloads32#infoboxes

下载的

我在Php工作


仅供记录 - 此csv文件大约为1.8 GB。我实际上正在经历所有这些麻烦,只是为了从维基百科的一组精选文章中获取一组精选的信息框。我会手动完成,除了我需要超过10 000个条目的信息框,其中包括国家和城市。我只是想找一个简单的方法来做到这一点,坦率地说我一直在使用我的所有选择:(

2 个答案:

答案 0 :(得分:3)

要将CSV数据导入MySQL,您可以使用LOAD DATA INFILE语句,例如

LOAD DATA LOCAL INFILE '/importfile.csv'
INTO TABLE test_table
FIELDS TERMINATED BY ','
LINES TERMINATED BY '\n'
(field1, filed2, field3); 

有时候这样的数据可能需要一些按摩,在Perl中编写脚本或类似的来逐行解析文件并吐出SQL语句并不棘手。

答案 1 :(得分:1)

如果您想在导入之前按摩数据,可以查看我的CSV流编辑器CSVfix - 它是FOSS。如果由于某种原因,您的数据库批量加载CSV数据不适合您,它还可以为您的数据库生成SQL INSERT语句。