Question

在monetdb表中面临批量导入的文件加载问题。下面提供了有关重新创建问题的详细信息：

我已经安装了monetdb版本11.19.9，而monetdb的python客户端也是11.19.9。

创建了dbform，它工作正常，我已连接到monetdb shell并通过python api。

现在我正在尝试导入转储的CSV文件，csv文件的内容如下所示：

44444444|ALI
55555555|JAFFRI

表模式定义为：*“表已经有5000万行，而csv只有两行”

CREATE TABLE "voc"."test" (
    "id"   INTEGER,
    "data" VARCHAR(30)
);

用户名和数据库名都是“voc”

用于导入文件的

命令如下所示。

root@monetdb:~# mclient -u voc -d voc -s  "COPY INTO test FROM STDIN" - < test.csv
password:
NULL byte in input
root@monetdb:~# mclient -u voc -d voc -s  "COPY INTO test FROM STDIN NULL AS ''" - < test.csv
password:
NULL byte in input

抛出错误“输入中的NULL字节”并且没有任何内容添加到表中。

对于Python，我尝试使用以下命令：

import monetdb.sql
connection = monetdb.sql.connect(username="voc", password="voc", hostname="localhost", database="voc")
cursor = connection.cursor()
cursor.execute("COPY INTO test FROM 'test.csv'")
connection.commit()

此代码抛出Perm Exception：

COPY INTO: insufficient privileges: COPY INTO from file(s) requires database administrator rights, use 'COPY INTO "test" FROM STDIN' instead

现在我没有找到任何与STDIN一起使用的python代码的例子，Monetdb游标不像PostgreSQL那样提供copy_from，你可以单独传递文件。有没有python的解决方案？

OS？

uname -a
Linux monetdb 3.13.0-43-generic #72-Ubuntu SMP Mon Dec 8 19:35:06 UTC 2014 x86_64 x86_64 x86_64 GNU/Linux

*** Python示例与用户monetdb一起工作正常，但对于终端“输入中的NULL字节”仍然存在。

Answer 1

mclient -u voc -d voc -s  "COPY INTO test FROM STDIN" - < test.csv

对我来说很好。 NULL byte in input错误表示您尝试加载的文件出现问题。

关于另一个问题（从Python调用COPY INTO），错误信息也很清楚。尝试以monetdb用户身份进行连接。

还可以在COPY INTO命令后内联要导入的CSV数据。示例（Python）：

cursor.execute("COPY 2 RECORDS INTO test FROM STDIN;\n44444444|AL\n55555555|JAFFRI")

这里的缺点是您需要指定要导入的记录数。

Answer 2

我创建了一个简单的表（创建表dept（dept_id integer，dept_nm varchar（25））并尝试使用Python从文件插入记录并获取错误。所有execute语句都给出了同样的错误消息：

connection = monetdb.sql.connect(username="monetdb", password="monetdb", hostname="10.81.102.71", port=2234, database="demo")
cursor = connection.cursor()
cursor.execute("COPY INTO dept FROM 'C:\AWS\did.csv' USING DELIMITERS;")
cursor.execute("COPY INTO dept FROM 'C:\AWS\did.csv' USING DELIMITERS")
cursor.execute("COPY INTO dept FROM STDIN;\n44444444,'AL'\n55555555,'JAFFRI'")
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "C:\Users\Q1\AppData\Local\Continuum\Anaconda2\lib\site-packages\monetdb\sql\cursors.py", line 175, in execute
    block = self.connection.execute(query)
  File "C:\Users\Q1\AppData\Local\Continuum\Anaconda2\lib\site-packages\monetdb\sql\connections.py", line 138, in execute
    return self.command('s' + query + ';')
  File "C:\Users\Q1\AppData\Local\Continuum\Anaconda2\lib\site-packages\monetdb\sql\connections.py", line 143, in command
    return self.mapi.cmd(command)
  File "C:\Users\Q1\AppData\Local\Continuum\Anaconda2\lib\site-packages\monetdb\mapi.py", line 202, in cmd
    raise OperationalError(response[1:])monetdb.exceptions.OperationalError: 25005!current transaction is aborted (please ROLLBACK)

monetdb批量复制|用python进行批量复制

2 个答案: