Question

关注this example，我在* .sql脚本中使用PostgreSQL变量时遇到问题：

我想使用BASH脚本迭代大量XML数据文件
BASH脚本将XML文件名分配给变量，该变量传递给SQL脚本
由该BASH脚本调用的SQL脚本将这些数据加载到PostgreSQL中

如果我直接获取XML文件，则没有问题;但是，我无法在我的SQL脚本中访问该变量：

在我的SQL脚本（hmdb.sql）中，我可以访问PSQL变量:bash_var（从BASH脚本传递）：

\echo '\nEXTERNAL VARIABLE (= "datafile", HERE):' :bash_var '\n'

和/或直接引用XML文件

datafile text := 'hmdb/hmdb.xml';

但不是变量：

datafile text := 'bash_var';

hmdb.sh

#!/bin/bash

DATA_DIR=data/

for file in $DATA_DIR/*.xml
  do
    bash_var=$(echo ${file##*/})
    echo $bash_var
    psql -d hmdb -v bash_var=$bash_var -f hmdb.sql
done

Answer 1

好的，这是我的解决方案。

我在Persagen.com blog上发布了更详细的答案。

基本上，我决定废除DO $$DECLARE ...方法（在SO 49950384中描述）以支持下面的简化方法。

然后我可以访问BASH / PSQL共享变量:bash_var，因此：

xpath('//metabolite', XMLPARSE(DOCUMENT convert_from(pg_read_binary_file(:'bash_var'))))

以下是一个示例SQL脚本，说明了该用法：

<强> hmdb.sql

\c hmdb

CREATE TABLE hmdb_identifiers (
  id SERIAL,
  accession VARCHAR(15) NOT NULL,
  name VARCHAR(300) NOT NULL,
  cas_number VARCHAR(12),
  pubchem_cid INT,
  PRIMARY KEY (id),
  UNIQUE (accession)
);

\echo '\n[hmdb.sql] bash_var:' :bash_var '\n'

-- UPDATE (2019-05-15): SEE MY COMMENTS BELOW RE: TEMP TABLE!
CREATE TEMP TABLE tmp_table AS 
SELECT 
  (xpath('//accession/text()', x))[1]::text::varchar(15) AS accession
  ,(xpath('//name/text()', x))[1]::text::varchar(300) AS name 
  ,(xpath('//cas_registry_number/text()', x))[1]::text::varchar(12) AS cas_number 
  ,(xpath('//pubchem_compound_id/text()', x))[1]::text::int AS pubchem_cid 
-- FROM unnest(xpath('//metabolite', XMLPARSE(DOCUMENT convert_from(pg_read_binary_file('hmdb/hmdb.xml'), 'UTF8')))) x
FROM unnest(xpath('//metabolite', XMLPARSE(DOCUMENT convert_from(pg_read_binary_file(:'bash_var'), 'UTF8')))) x
;

INSERT INTO hmdb_identifiers (accession, name, cas_number, pubchem_cid)
  SELECT lower(accession), lower(name), lower(cas_number), pubchem_cid FROM tmp_table;

DROP TABLE tmp_table;

SQL脚本注释：

在xpath语句中，我根据Postgres表模式重新构造::text（例如：::text::varchar(15)）。
更重要的是，如果我不重新创建xpath语句中的数据类型，并且字段条目（例如name长度）超出SQL varchar(300)长度限制，这些数据引发了PSQL错误，表格没有更新（即空白表格结果）。

我在此Gist

上传了此答案中使用的XML数据文件

https://gist.github.com/victoriastuart/d1b1959bd31e4de5ed951ff4fe3c3184

直接链接：

更新（2019-05-15）

在我的研究博客文章Exporting Plain Text to PostgreSQL中详细介绍的后续工作中，我直接将XML数据加载到PostgreSQL中，而不是使用临时表。

TL / DR。在该项目中，我观察到以下改进。

Parameter | Temp Tables  | Direct Import | Reduction
    Time: | 1048 min     | 1.75 min      | 599x
   Space: | 252,000 MB   | 18 MB         | 14,000x

在PSQL脚本中访问外部XML文件作为变量（来自bash脚本）

1 个答案: