Question

我试图用python脚本中的CSV文件填充表格。

随后的SQL语句运行时没有错误：

COPY registro
FROM '/home/pablo/Escritorio/puntos/20140227.csv'
DELIMITER ','
CSV header;

CSV包含标题，并使用header参数，导入时没有错误。

当我从python脚本执行它时会出现问题。我发现不尝试导入标头的唯一方法是使用copy_expert()方法。我没有收到任何错误消息，但是在我运行下面的Python脚本后，表仍然是空的。

任何可能的线索？或者也许用其他任何方式从带有标题的CSV复制表格？

感谢。

#/usr/bin/env python
# -*- coding: utf-8 -*-
import psycopg2
import os
import glob
DSN = "dbname=gps user=postgres host=localhost"
con = psycopg2.connect(DSN)
cur = con.cursor()
my_file = open('/home/pablo/Escritorio/puntos/20140227.csv')
#This is only a test file, not all the directory
sql = "COPY registro FROM stdin DELIMITER \',\' CSV header;"
cur.copy_expert(sql, my_file)
cur.close()
con.close()

Answer 1

我在cur.copy_expert()之后尝试conn = psycopg2.connect('postgresql://scott:tiger@localhost:5432/database') cur = conn.cursor() copy_sql = """ COPY table_name FROM stdin WITH CSV HEADER DELIMITER as ',' """ with open(path, 'r') as f: cur.copy_expert(sql=copy_sql, file=f) conn.commit() cur.close()。

如果数据集很大，我会避免像Sam P.上面指出的那样逐行预处理和上传文件。 {{1}}明显更快。

{{1}}

Answer 2

我建议先在python中处理csv文件。最好将从csv文件中提取的数据结构化为行/列（在python中这将是嵌套列表，或者是元组列表）然后你可以构造＆amp;迭代地执行基于该数据的SQL命令。

使用csv库与csv文件进行交互，请查看此处的文档：https://docs.python.org/2/library/csv.html。它非常用户友好，可以帮助您解决很多问题。

这里有一种没有csv的方法（因为我无法记住我头脑中的所有功能），但最好不要使用这种方法：< / p>

#/usr/bin/env python
# -*- coding: utf-8 -*-
import psycopg2
import os
import glob
DSN = "dbname=gps user=postgres host=localhost"
con = psycopg2.connect(DSN)
cur = con.cursor()

# 'rb' used as I don't know the encoding of your file
# just use r if it's in utf-8 or a known/consistent charset
with open(file,'rb') as open_file:
    my_file = open_file.read().decode('utf-8','ignore')

data = my_file.splitlines()
data = [r.split(delimiter) for r in data]

data = data[1:] # get rid of headers

for r in data:
     # create command
     # cur.execute(command)

使用python在postgres中复制（来自）带有标题的csv

2 个答案: