Question

现在tablestreams是deprecated，使用pqxx将COPY大量数据导入数据库有不同的方法吗？

我目前正在使用准备好的声明，但每秒只能获得大约4k的插入，这还不足以跟上我收到的数据。这是我的测试代码：

  conn.prepare("test_prepared", "INSERT INTO test VALUES ($1, $2, $3, $4, $5, $6)")
    ("real")                                                                    
    ("varchar", pqxx::prepare::treat_string)                                    
    ("varchar", pqxx::prepare::treat_string)                                    
    ("varchar", pqxx::prepare::treat_string)                                    
    ("varchar", pqxx::prepare::treat_string)                                    
    ("bytea")  

// ...     

for (int i=0; i < LOOPS; i++) { 
    pqxx::work txn2(conn);                                                      
    for (int j=0; j < ROWS_PER_SECOND; j++) {                                   
        // ...
        txn2.prepared("test_prepared")(ts)(field1)(field2)(field3)(field4)(conn.esc_raw(bin, 10000)).exec();
    }
    txn2.commit();
    usleep(1000000);  // sleep for a second
}

使用Python API，我可以使用COPY FROM每秒获得50,000次以上的插入。

  for i in range(ROWS_PER_SECOND):                                                            
    vals.append('%f\t%s\t%s\t%s\t%s\t%s' % (time.time(), util.random_text(50),  
      util.random_text(50), util.random_text(50), util.random_text(50),         
      util.random_text(10000)))                                                 
  f = StringIO('\n'.join(vals))                                                 
  cur.copy_from(f, 'test', \                                                    
      columns=('timestamp', 'field1', 'field2', 'field3', 'field4', 'bin'))     
  conn.commit()

所以postgres完全有能力处理这个用例。什么是pqxx等价物？

在pqxx中使用COPY

0 个答案: