将csv读入数据库SQLite3 ODO Python

时间:2017-08-03 12:57:24

标签: python csv sqlite odo

我正在尝试使用ODO,SQLite3和Python将csv读入新数据库中的新表。

我正在关注这些指南:

https://media.readthedocs.org/pdf/odo/latest/odo.pdf http://odo.pydata.org/en/latest/perf.html?highlight=sqlite#csv-sqlite3-57m-31s

我正在尝试以下方法:

import sqlite3
import csv
from odo import odo

file_path = 'my_path/'
# In this case 'my_path/' is a substitute for my real path

db_name = 'data.sqlite'

conn = sqlite3.connect(file_path + db_name)

这会在data.sqlite中创建一个新的sqlite文件file_path。我可以在文件夹中看到它。

当我尝试将csv读入此数据库时,我收到以下错误:

csv_path = 'my_path/data.csv'
odo(csv_path, file_path + db_name)
conn.close()

NotImplementedError: Unable to parse uri to data resource: # lists my path

你能帮忙吗?

2 个答案:

答案 0 :(得分:0)

不用了ODO文档,这成功地在新数据库中创建了一个新表,并将csv文件读入该数据库:

import sqlite3
import csv
from odo import odo

# [1]

#  Specify file path
file_path = 'my_path/'
# In this case 'my_path/' is a substitute for my real path

# Specify csv file path and name
csv_path = file_path + 'data.csv'

# Specify database name
db_name = 'data.sqlite'

# Connect to new database
conn = sqlite3.connect(file_path + db_name)

# [2]

# Use Odo to detect the shape and datatype of your csv:
data_shape = discover(resource(csv_path))

# Ready in csv to new table called 'data' within database 'data.sqlite'
odo(pd.read_csv(csv_path), 'sqlite:///' + file_path + 'data.sqlite::data', dshape=data_shape)

# Close database
conn.close()

[1]中使用的来源:

https://docs.python.org/2/library/sqlite3.html python odo sql AssertionError: datashape must be Record type, got 0 * {...}

[2]中使用的来源:

https://stackoverflow.com/a/41584832/2254228 http://sebastianraschka.com/Articles/2014_sqlite_in_python_tutorial.html#creating-a-new-sqlite-database https://stackoverflow.com/a/33316230/2254228 what is difference between .sqlite and .db file?

ODO文档在这里(祝你好运......)https://media.readthedocs.org/pdf/odo/latest/odo.pdf

答案 1 :(得分:0)

我发现文档网站和github中的文档不同。请使用github版本作为参考。

  

NotImplementedError:无法将uri解析为数据资源

section中提到了

错误。

您可以使用

解决

pip install odo[sqlite]pip install odo[sqlalchemy]

如果你使用windows和odo 0.5.0,那么你可能会遇到另一个错误:

  

AttributeError:'DiGraph对象没有属性'edge'

安装networkx 1.11而不是networkx 2.0可以解决此错误。 (reference

pip uninstall networkx
pip install networkx==1.11

我希望这会有所帮助