Python语法:Subprocess调用PostgreSQL查询,"错误:只允许ASCII字符"

时间:2014-09-16 01:49:26

标签: python postgresql subprocess postgresql-9.3

我在python中使用以下代码,使用subprocess调用PostgreSQL查询:

import subprocess
claimer_name = 'a_name'
startdate = '2014-04-01'
enddate = '2018-04-01' 

data = subprocess.check_output(['/usr/bin/psql -U user_name "SELECT c.asset_id, c.video_id,
c.claim_id, c.claim_date FROM db.claim c JOIN db.claim_history h ON c.claim_id = h.claim_id JOIN
db.users_email e ON LOWER(e.email) = LOWER(h.email) JOIN m.auth_user u ON e.user_id = u.id WHERE
h.list_order = 1 AND c.claim_origin = ‘Descriptive Search’ AND c.claim_date >= \"%s\" AND    
c.claim_date < \"%s\" AND concat(u.first_name, concat(chr(32),
u.last_name)) = \"%s\""' % (startdate, enddate, claimer_name)], shell=True)

如何摆脱“描述性搜索”周围的单引号?按原样运行此代码会出现错误Only ASCII characters are allowed in an identifier.

我试过了:

  1. [''Descriptive Search'']
  2. [\'Descriptive Search\']
  3. [""Descriptive Search""]
  4. [concat('Descriptive', concat(chr(32), 'Search'))]
  5. 并指定变量:i = 'Descriptive Search',然后c.claim_origin = \"%s\"

    但是,这些尝试会产生相同的ASCII characters错误。使用字符串格式可以很好地处理我的其他变量(startdateenddateclaimer_name),并且我很难理解它为什么不能用于字符串&# #39;描述性搜索&#39;。

    使用PostgreSQL 9.3。

    正确方向的任何帮助或要点都会很棒;谢谢!

1 个答案:

答案 0 :(得分:6)

这有很多问题。

  • 您应该使用psycopg2而不是尝试向psql发送数据库以与数据库通信;

  • 由于您未使用正确的数据库绑定,因此无法正确使用展示位置参数(预处理语句),因此您必须自行处理文字转义以避免SQL injection风险并引用错误;

  • 通过subprocess调用命令时,尽可能避免使用shell。这是另一个可能失败的问题,在这种情况下完全没有必要;

  • 长字符串通常应在"""中引用,以避免需要转义嵌套的";

  • 表达式concat(u.first_name, concat(chr(32), u.last_name))不必要地扭曲。只需撰写u.first_name || ' ' || u.last_nameformat('%s %s', u.first_name, u.last_name);

  • 即可
  • 您正在使用"double quotes"来引用您替换的文字,这是无效的SQL。根据文档,它们将被视为标识符。因此c.claim_date < \"%s\"会因no column "2014-04-01";

  • 之类的错误而失败
  • 引用‘Descriptive Search‘时,您使用的是真正的单引号,而不是撇号。猜测你已经在文字处理器中编辑了代码,而不是程序员的文本编辑器。在SQL中引用文字时,您需要撇号'Descriptive Search'

因为您使用单引号字符(U + 2018)而不是撇号(U + 0027)引用文字字符串Descriptive Search,所以PostgreSQL没有将其识别为文字,并试图将其解析为标识符。但是,不是非加引号标识符中的合法字符,因此它会报告您显示的错误。

请参阅the documentation on identifiers and literals

这是你应该做的:

import psycopg2
import datetime
claimer_name = 'a_name'
startdate = datetime.date(2014, 1, 1)
enddate = datetime.date(2018, 1, 1)

conn = psycopg2.connect("user=user_name")
curs = conn.cursor()
curs.execute("""
    SELECT 
        c.asset_id,
        c.video_id,
        c.claim_id,
        c.claim_date
    FROM db.claim c 
         JOIN db.claim_history h ON c.claim_id = h.claim_id 
         JOIN db.users_email e ON LOWER(e.email) = LOWER(h.email) 
         JOIN m.auth_user u ON e.user_id = u.id 
    WHERE h.list_order = 1 
      AND c.claim_origin = 'Descriptive Search'
      AND c.claim_date >= %s 
      AND c.claim_date < %s
      AND u.first_name || ' ' || u.last_name = %s
    """, (startdate, enddate, claimer_name)
)
results = curs.fetchall()

请特别注意我使用上面的Python %字符串格式化运算符。 %s条目是由psycopg2正确替换的展示位置参数;见passing parameters to SQL queries