如何从Linux / HDFS导入CSV文件到mongo DB

时间:2017-01-31 01:11:07

标签: linux mongodb csv hadoop

我在CestOS6.7上使用Mongo版本2.6.12。它是非群集的,即仅安装在一台服务器上。

我的项目要求最终输出存储在MongoDB中。这些文件是存储在Linux和HDFS上的CSV。有人可以指导我如何从Linux / HDFS导入CSV文件到mongo数据库。

Mongoimport不能正常工作,默认输入为JSON文件。我在mongo-shell中试过这个,它失败了

mongoimport news-output-20170125.csv --type csv
  

2017-01-30T19:18:25.275-0600语法错误:意外的标识符

1 个答案:

答案 0 :(得分:0)

来自Linux的Mongoimport正在为CSV文件工作。我从mongo-shell运行mongoimport。因此得到了错误。

[mongoritter@**** ~]$ cat locations.csv
Name,Address,City,State,ZIP
Jane Doe,123 Main St,Whereverville,CA,90210
John Doe,555 Broadway Ave,New York,NY,10010
[mongoritter@**** ~]$ pwd
/home/mongoritter
[mongoritter@**** ~]$ mongoimport -d test -c test1 --type csv --file locations.csv –headerline
connected to: 127.0.0.1
2017-01-31T12:12:22.034-0600 imported 2 objects 

如需更多帮助,请参阅How to use mongoimport to import csv

现在,我将检查从HDFS导入的方式。我看过一个mongo文档,会检查这是否有效https://www.mongodb.com/blog/post/using-mongodb-hadoop-spark-part-1-introduction-setup

谢谢, SHILPA