Question

我的公司每月收集大量有关我们服务器使用情况的数据（大约100亿行的某个地方）。我的任务是将数据从这个初始表卸载到S3，然后我将其复制到另一个集群中的表。然后，此数据用于Tableau中的信息中心报告。

我遇到了一些问题，其中卸载（以及某种程度上的复制）步骤间歇性地失败，例如Unexpected error: The server is already closed.这使我认为它基本上是超时的。还有一些奇怪的行为，它正在搅拌并挂在卸载步骤上，在它失败后，我可以看到它将所有数据和清单文件卸载到存储桶中。

由于存在这些不确定性，我不得不寻找其他可能分配任务的策略。我对Spark非常感兴趣，目前正在使用pyspark了解它，并且想知道我是否可以通过分布式处理来解决问题。是否可以将数据存储在ec2中，并从那里开始使用Tableau？有没有办法分发卸载过程？

我将在下面的流程中包含代码，这样如果存在一些瓶颈，我就会纠正它：

from datetime import datetime
import logging

import boto3
import psycopg2 as ppg2

from inst_utils import aws, misc_utils
from inst_config import config3

if __name__ == '__main__':
    logger = misc_utils.initialize_logger(config3.REQUESTS_USAGE_LOGFILE)

    # Unload step
    timestamp = datetime.now()
    month = timestamp.month
    year = timestamp.year

    s3_sesh = boto3.session.Session(**config3.S3_INFO)
    s3 = s3_sesh.resource('s3')
    fname = 'load_{}_{:02d}'.format(year, month)
    bucket_url = ('canvas_logs/agg_canvas_logs_user_agent_types/'
                  '{}/'.format(fname))
    unload_url = ('s3://{}/{}'.format(config3.S3_BUCKET, bucket_url))
    s3.Bucket(config3.S3_BUCKET).put_object(Key=bucket_url)
    table_name = 'requests_{}_{:02d}'.format(year, month - 1)
    logger.info('Starting unload.')
    try:
        with ppg2.connect(**config3.REQUESTS_POSTGRES_INFO) as conn:
            cur = conn.cursor()
            # TODO add sql the sql folder to clean up this program.
            unload = r'''
            unload ('select
                        user_id
                        ,course_id
                        ,request_month
                        ,user_agent_type
                        ,count(session_id)
                        ,\'DEV\' etl_requests_usage
                        ,CONVERT_TIMEZONE(\'MST\', getdate()) etl_datetime_local
                        ,\'agg_canvas_logs_user_agent_types\' etl_transformation_name
                        ,\'N/A\' etl_pdi_version
                        ,\'N/A\' etl_pdi_build_version
                        ,null etl_pdi_hostname
                        ,null etl_pdi_ipaddress
                        ,null etl_checksum_md5
                     from
                          (select distinct
                              user_id
                              ,context_id as course_id
                              ,date_trunc(\'month\', request_timestamp) request_month
                              ,session_id
                              ,case
                              when user_agent like \'%CanvasAPI%\' then \'api\'
                              when user_agent like \'%candroid%\' then \'mobile_app_android\'
                              when user_agent like \'%iCanvas%\' then \'mobile_app_ios\'
                              when user_agent like \'%CanvasKit%\' then \'mobile_app_ios\'
                              when user_agent like \'%Windows NT%\' then \'desktop\'
                              when user_agent like \'%MacBook%\' then \'desktop\'
                              when user_agent like \'%iPhone%\' then \'mobile\'
                              when user_agent like \'%iPod Touch%\' then \'mobile\'
                              when user_agent like \'%iPad%\' then \'mobile\'
                              when user_agent like \'%iOS%\' then \'mobile\'
                              when user_agent like \'%CrOS%\' then \'desktop\'
                              when user_agent like \'%Android%\' then \'mobile\'
                              when user_agent like \'%Linux%\' then \'desktop\'
                              when user_agent like \'%Mac OS%\' then \'desktop\'
                              when user_agent like \'%Macintosh%\' then \'desktop\'
                              else \'other_unknown\'
                              end as user_agent_type
                            from {}
                            where context_type = \'Course\')
                            group by
                              user_id
                              ,course_id
                              ,request_month
                              ,user_agent_type')
            to '{}'
            credentials 'aws_access_key_id={};aws_secret_access_key={}'
            manifest
            gzip
            delimiter '|'
            '''.format(
                table_name, unload_url, config3.S3_ACCESS, config3.S3_SECRET)
            cur.execute(unload)
            conn.commit()

    except ppg2.Error as e:
        logger.critical('Error occurred during transaction: {}'.format(e))
        raise Exception('{}'.format(e))

    logger.info('Starting copy process.')
    schema_name = 'ods_canvas_logs'
    table_name = 'agg_canvas_logs_user_agent_types'

    manifest_url = unload_url + 'manifest'
    logger.info('Manifest url: {}'.format(manifest_url))
    load = aws.RedshiftLoad(schema_name,
                            table_name,
                            manifest_url,
                            config3.S3_INFO,
                            config3.REDSHIFT_POSTGRES_INFO_PROD,
                            config3.REDSHIFT_POSTGRES_INFO,
                            safe_load=True,
                            truncate=True
                            )
    load.execute()

Answer 1

FWIW，我想您应该发布另一个问题，其中包含您尝试的UNLOAD的详细信息。

我在卸载整个表格时发现UNLOAD可以更好地工作，例如，不使用查询。

尝试使用要卸载的数据子集创建临时表，然后UNLOAD整个表，然后删除临时表。

CREATE TEMP TABLE a AS SELECT b FROM c WHERE d = e;
UNLOAD (SELECT * FROM a) TO 's3://bucket' CREDENTIALS … ;
DROP TABLE a;

关于上面的实际问题，我认为您不会在这种方法上取得多大成功。瓶颈不是Spark或Python，而只是Redshift基本上不是设计的用于返回大量行。

Answer 2

我同意@Jim Nasby - 带有DISTINCT的GROUP BY是多余的，并且最有可能导致麻烦，因为它们强制Redshift在复制前强制执行单个Leader节点上整个数据集的整理。

Redshift的COPY命令的巨大好处是每个节点，如果查询允许，可以与其他节点并行卸载自己的数据。因此，如果您有10个节点，则所有10个节点都可以创建S3连接（多个节点）并开始抽取数据。

在您的情况下，通过使用此DISTINCT，您基本上会禁用它，因为所有数据都需要首先重新计算。

所以我和其他人一起说，最好是按原样转储整个表（在群集上更快，减少负担），或者根据日期范围进行简单的增量上传，可能还有一些其他简单条件（就像你有context_type = \'Course\')。只要没有GROUP BY / DISTINCT / ORDER BYs应该并行运行，并且非常快。

使用Spark会没有区别，因为它只是首先通过SQL连接抽取数据。

将大量数据从一个Redshift表卸载到另一个表的策略？

2 个答案: