Question

我正在使用python 2.7并尝试将管道分隔文件加载到sqlite表中。

最初我尝试了bloc事务，但遇到了“操作错误：没有这样的表：ff。我在函数中添加了全局语句，也没有帮助（没想到它，但试图成为肯定）。

因此为了调试目的而删除了函数调用，我在循环中直接添加了INSERT语句，并得到了同样的错误。

我检查过：创建clt.db，并包含表ff（空tho）。错误发生在第64行（curs.execute（insertStmt，obs），因为亚麻被编辑出来了。）

我不知道这是否与解决方案有任何关系（希望不是）：我在微EC2实例上运行它，目标db写入通过s3fs挂载的S3存储桶。可能是延迟问题？

- 更新：关闭连接和关闭时，我得到了这个工作光标，并重新打开它们。即使在conn.commit（）之后。尝试time.sleep（）并没有帮助，所以似乎连接/光标必须关闭并重新打开以便新表的存在才能注册。为什么我不知道。有什么建议吗？

有什么想法吗？谢谢。

奥斯特。

import csv,sqlite3

dbName = 'clt.db'
conn = sqlite3.connect(dbName)
curs = conn.cursor()


def loadBloc(bloc):
        global conn,curs
        curs.execute('begin')
        for obs in bloc:
                curs.execute(insertStmt,obs)
        conn.commit()
        return None



createCode = '''
create table ff
(
a text not null,
b text not null,
c text not null,
d numeric not null,
e text not null,
f text not null,
g text not null,
h numeric not null,
i numeric not null
);
'''

curs.execute(createCode)
conn.commit()

nb = 10000; cnt = 0
bloc = ["" for i in range(nb)]
f = open(infile,'rt')
csv.register_dialect('pipes',delimiter='\t')
with open('ff.dat','r') as f:
        reader = csv.reader(f,dialect='pipes')
        for row in reader:
                a    = row[0]
                b    = row[1]
                c    = row[2]
                u = c.split('/')
                if len(u) == 3:
                        v = [int(u[i]) for i in range(len(u)) ]
                        c = "{0:4d}-{1:02d}-{2:02d}".format(v[2],v[1],v[0])
                else:
                        c = "1212-12-12"
                d   = row[3]
                e   = row[4]
                f   = row[5]
                g   = row[6]
                h   = row[7]
                i   = row[8]

                obs = (a,b,c,d,e,f,g,h,i)
                insertStmt = 'insert into ff (a,b,c,d,e,f,g,h,i) values (' + ','.join('?'*9) + ');'
                curs.execute(insertStmt,obs)
                conn.commit()

                print cnt
                #bloc[cnt] = (a,b,c,d,e,f,g,h,i)
                #if cnt == nb-1:
                #       loadBloc(bloc)
                #       print "=============================================="
                #       bloc = ["" for i in range(nb)]
                #       cnt = 0
                #else:
                #       cnt = cnt + 1

f.close()
curs.close()
conn.close()

Answer 1

您的代码没有明显错误。在修剪掉所有未使用的代码之后，使剩下的代码更加简洁并使cnt计算一些内容，它运行正常，如下所示，只有一次提交（就在终止之前）。我建议您首先在非云系统上尝试此代码，以确保Python或sqlite或csv没有问题。然后在可疑实例上尝试它，如果有必要则尝试其他实例。

[ff.py]

import csv,sqlite3

dbName = 'clt.db'
conn = sqlite3.connect(dbName)
curs = conn.cursor()
createCode = '''
    create table ff
    (
        a text not null,
        b text not null,
        c text not null,
        d numeric not null,
        e text not null,
        f text not null,
        g text not null,
        h numeric not null,
        i numeric not null
    );
'''

insertStmt = (
    'insert into ff (a,b,c,d,e,f,g,h,i) values (' +
    ','.join('?'*9) +
    ');'
    )

curs.execute(createCode)
# conn.commit() # works ok without this

with open('ff.dat','r') as f:
    reader = csv.reader(f,delimiter='|')
    for cnt, row in enumerate(reader, 1):
        a,b,c,d,e,f,g,h,i = row
        u = c.split('/')
        if len(u) == 3:
            v = [int(x) for x in u]
            c = "{0:4d}-{1:02d}-{2:02d}".format(v[2],v[1],v[0])
        else:
            c = "1212-12-12"
        obs = (a,b,c,d,e,f,g,h,i)
        curs.execute(insertStmt,obs)
        # conn.commit() # doesn't need to be inside the loop
        print "row number:", cnt

curs.close()
conn.commit() # need at least 1 commit
conn.close()

[转录]

C:\junk\so>del clt.db

C:\junk\so>type ff.dat
A|B|C|D|E|F|G|H|I
1|2|16/10/2011|4|5|6|7|8|9

C:\junk\so>\python27\python ff.py
row number: 1
row number: 2

C:\junk\so>\bin\sqlite3 clt.db
SQLite version 3.6.14
Enter ".help" for instructions
Enter SQL statements terminated with a ";"
sqlite> select * from ff;
A|B|1212-12-12|D|E|F|G|H|I
1|2|2011-10-16|4|5|6|7|8|9
sqlite> ^Z

C:\junk\so>

使用python：table found在sqlite db中加载表

1 个答案: