Question

我正在使用遗留系统，需要找到一种方法，使用Perl将文件插入到预先存在的Postgres 8.2 bytea列中。

到目前为止，我的搜索让我相信以下内容：

对此没有达成共识的最佳方法。
lo_import看起来很有希望，但我显然太过分了，无法让它发挥作用。

我希望做类似以下的事情

my $bind1 = "foo"
my $bind2 = "123"
my $file = "/path/to/file.ext"

my $q = q{
      INSERT INTO generic_file_table
        (column_1,
         column_2,
         bytea_column
        ) 
      VALUES
      (?, ?, lo_import(?))
};
my $sth = $dbh->prepare($q);
$sth->execute($bind1, $bind2, $file);
$sth->finish();`

我的脚本没有lo_import / bytea部分。但有了它，我得到了这个错误：

DBD :: Pg :: st执行失败：错误：列“contents”的类型为bytea，但表达式为＆gt;类型为oid，位于字符176 提示：您需要重写或转换表达式。

我认为我做错了是我没有正确地将实际的二进制文件传递给DB。我想我正在传递文件路径，但不是文件本身。如果这是真的那么我需要弄清楚的是如何打开/读取文件到tmp缓冲区，然后使用缓冲区进行导入。

还是我离开基地？只要他们使用Perl 5.8 / DBI / PG 8.2，我就会接受任何指针或替代解决方案。

Answer 1

Pg提供了两种存储二进制文件的方法：

大型对象，在pg_largeobject表格中，由oid引用。通常通过lo扩展程序使用。可以加载lo_import。
bytea列。在PostgreSQL 9.0及更低版本中表示为\000\001\002fred\004的八进制转义符，或者在Pg 9.1及更高版本中默认为十六进制转义符，例如\x0102。 bytea_output设置允许您在escape格式的版本中选择hex（八进制）和hex格式。

您尝试使用lo_import将数据加载到bytea列中。那不行。

您需要做的是发送PostgreSQL正确转义的bytea数据。在支持的当前PostgreSQL版本中，您只需将其格式化为十六进制，在前面敲一个\x，您就完成了。在你的版本中，你必须以八进制反斜杠序列的形式将其转义，并且（因为你在一个不使用standard_conforming_strings的旧PostgreSQL上）也可能需要加倍反斜杠。

This mailing list post提供了一个适用于您的版本的好例子，后续消息甚至解释了如何修复它以便在较少史前的PostgreSQL版本上工作。它显示了如何使用参数绑定来强制bytea引用。

基本上，您需要读取文件数据。您不能只将文件名作为参数传递 - 数据库服务器如何访问本地文件并读取它？它正在寻找服务器上的路径。

一旦读入数据，就需要将其作为bytea转义，并将其作为参数发送到服务器。

更新：像这样：

use strict;
use warnings;
use 5.16.3;

use DBI;
use DBD::Pg;
use DBD::Pg qw(:pg_types);
use File::Slurp;

die("Usage: $0 filename") unless defined($ARGV[0]);
die("File $ARGV[0] doesn't exist") unless (-e $ARGV[0]);
my $filename = $ARGV[0];


my $dbh = DBI->connect("dbi:Pg:dbname=regress","","", {AutoCommit=>0});
$dbh->do(q{
        DROP TABLE IF EXISTS byteatest;
        CREATE TABLE byteatest( blah bytea not null );
});
$dbh->commit();

my $filedata = read_file($filename);
my $sth = $dbh->prepare("INSERT INTO byteatest(blah) VALUES (?)");
# Note the need to specify bytea type. Otherwise the text won't be escaped,
# it'll be sent assuming it's text in client_encoding, so NULLs will cause the
# string to be truncated.  If it isn't valid utf-8 you'll get an error. If it
# is, it might not be stored how you want.
#
# So specify {pg_type => DBD::Pg::PG_BYTEA} .
#

$sth->bind_param(1, $filedata, { pg_type => DBD::Pg::PG_BYTEA });
$sth->execute();
undef $filedata;

$dbh->commit();

Answer 2

感谢那些帮助过我的人。花了一段时间才把这个钉下来。解决方案是打开文件并存储它。然后专门调出类型为bytea的绑定变量。这是详细的解决方案：

.....
##some variables
my datum1 = "foo";
my datum2 = "123";
my file = "/path/to/file.dat";
my $contents;

##open the file and store it
open my $FH, $file or die "Could not open file: $!";
 {
 local $/ = undef;
 $contents = <$FH>;
 };
close $FH;
print "$contents\n";

##preparte SQL
my $q = q{
  INSERT INTO generic_file_table
    (column_1, 
    column_2, 
    bytea_column
    ) 
  VALUES
  (?, ?, ?)
  };
my $sth = $dbh->prepare($q);
##bind variables and specifically set #3 to bytea; then execute.
$sth->bind_param(1,$datum1);
$sth->bind_param(2,$datum2);
$sth->bind_param(3,$contents, { pg_type => DBD::Pg::PG_BYTEA });
$sth->execute();
$sth->finish();

使用perl / SQL将文件插入Postgres bytea列

2 个答案: