Question

我在Amazon Redshift中查找表创建日期时遇到问题。我知道svv_table_info会提供有关该表的所有信息，但会提供创建日期。任何人都可以帮忙吗？

Answer 1

在Redshift中，通过搜索svl_qlog中运行的任何create table sql的开始和停止时间，可以获得表的创建时间。您可以查看其他表格以获取类似的数据，但这种方式的问题是它只保留了几天（3 - 5）。虽然每个人都希望元数据与表本身一起存储以进行查询。亚马逊建议保留此数据，以便将要保留的日志中的数据导出到S3。然后在我看来你可以将这些s3文件导回到你想要的名为aws_table_history的永久表中，以便永远保存这些特殊数据。

select * from svl_qlog where substring ilike 'create table%' order by starttime desc limit 100;

select * from stl_query a, stl_querytext b where a.query = b.query and b.text ilike 'create table%' order by a.starttime desc limit 100;

或者像这样得到表名和日期：

select split_part(split_part(b.text,'table ', 2), ' ', 1) as tablename, 
starttime as createdate 
from stl_query a, stl_querytext b 
where a.query = b.query and b.text ilike 'create table%' order by a.starttime desc;

使用您的密钥将您想要的创建表数据历史记录导出到您创建的S3存储桶。下面的select语句将输出创建的表名和创建它的日期时间。

使用要导出到S3的数据创建临时表。

create table temp_history as 
(select split_part(split_part(b.text,'table ', 2), ' ', 1) as tablename, starttime as createdate 
from stl_query a, stl_querytext b 
where a.query = b.query 
and b.text ilike 'create table%' order by a.starttime desc);

然后将此表上传到S3。

unload ('select * from temp_history') 
to 's3://tablehistory' credentials 'aws_access_key_id=myaccesskey;aws_secret_access_key=mysecretkey' 
DELIMITER '|' NULL AS '' ESCAPE ALLOWOVERWRITE;

在AWS Redshift中创建一个新表。

CREATE TABLE aws_table_history
(
tablename VARCHAR(150),
createdate DATETIME
);

然后将其重新导入自定义表格。

copy aws_table_history from 's3://tablehistory' credentials 'aws_access_key_id=MYKEY;aws_secret_access_key=MYID'
emptyasnull
blanksasnull
removequotes
escape
dateformat 'YYYY-MM-DD'
timeformat 'YYYY-MM-DD HH:MI:SS'
maxerror 20;
delimiter '|';

我测试了这一切，它对我们有用。我希望这可以帮助一些人。最后一个更简单的方法是使用Talend Big Data Open Studio并创建一个新作业，获取组件tRedshiftRow并将以下SQL粘贴到其中。然后构建作业，您可以安排在任何所需的环境中运行.bat（windows）或.sh（unix）。

INSERT INTO temp_history 
(select split_part(split_part(b.text,'table ', 2), ' ', 1) as tablename, starttime as createdate 
from stl_query a, stl_querytext b 
where a.query = b.query 
and b.text ilike 'create table%' order by a.starttime desc);
COMMIT;
insert into historytable
select distinct s.* 
from temp_history s;
COMMIT;
--remove  duplicates 
DELETE FROM historytable USING historytable a2 
WHERE historytable.tablename = a2.tablename AND
historytable.createdate < a2.createdate;
COMMIT;
---clear everything from prestage
TRUNCATE temp_history;
COMMIT;

Answer 2

看起来无法在Redshift中获取表的创建时间戳。一种解决方法是使用STL_DDLTEXT表来记录DDL的历史记录，包括CREATE TABLE。

以下是一个示例（test_table是表名）：

dev=> select starttime, endtime, trim(text) as ddl from stl_ddltext where text ilike '%create%table%test_table%' order by endtime desc limit 1;
         starttime          |          endtime           |                                                               ddl
----------------------------+----------------------------+----------------------------------------------------------------------------------------------------------------------------------
 2016-04-25 05:38:11.666338 | 2016-04-25 05:38:11.674947 | CREATE TABLE "test_table" (id int primary key, value varchar(24));
(1 row)

在上述情况下，starttime或endtime将是test_table表创建的时间戳。

注意：

Redshift长时间不保留STL_DDLTEXT ，因此您无法永久使用此方式。

如果通过重命名表名等其他方式创建表，则无法使用此方式。

Answer 3

在Redshift中有一种获取表创建日期和时间的正确方法，该方法不基于查询日志：

SELECT
TRIM(nspname) AS schema_name,
TRIM(relname) AS table_name,
relcreationtime AS creation_time
FROM pg_class_info
LEFT JOIN pg_namespace ON pg_class_info.relnamespace = pg_namespace.oid
WHERE reltype != 0
AND TRIM(nspname) = 'my_schema';

由于某些原因，它不适用于非常旧的表。我可以在我的集群中找到的最早的日期是2018年11月。也许表的创建日期未记录在该日期之前的pg_class_info中。

有没有办法在redshift中找到表创建日期？

3 个答案: