为什么我的S3 copy命令变为redshift会出现此错误?这是coppy命令:
COPY dbtablename from 's3://rcname/foldername/file.csv CREDENTIALS 'aws_access_key_id=xxxxxxx;aws_secret_access_key=yyyyyyy/zzzz' CSV IGNOREHEADER 1;
我的错误是:
psycopg2.ProgrammingError: syntax error at or near "aws_access_key_id"
LINE 1: ...rcname/foldername/file.csv CREDENTIALS 'aws_access...
我还有第二个问题:如何从复制命令中删除密钥。我正在使用python,为了与S3的关系,我使用Boto3和AWS CLI Keyring来加密我的密钥,所以我不必将密钥放在我的代码中
现在我想对复制命令(redshift)做同样的事情。但我找不到一个好的选择。有人知道怎么做吗?
答案 0 :(得分:1)
如果您已经设置了aws cli并按照http://docs.aws.amazon.com/cli/latest/userguide/cli-chap-getting-started.html中的步骤操作,那么您的主目录中将有两个已拥有凭据的文件:
~/.aws/config
和
~/.aws/credentials
您可以在python中使用boto从这些文件中访问aws_access_key_id
和aws_secret_access_key
。
具体来说,
import boto
from boto import ec2
ec2 = boto.ec2.connect_to_region('us-west-2', profile_name='default')
access_key = ec2.gs_access_key_id
secret_key = ec2.gs_secret_access_key
现在可以直接在代码中插入这些键:
query = '''
COPY dbtablename
from 's3://rcname/foldername/file.csv'
CREDENTIALS
'aws_access_key_id={access_key};aws_secret_access_key={secret_key}'
CSV
IGNOREHEADER 1;
'''.format(access_key=access_key,secret_key=secret_key)
有关如何使用其他语言执行此操作的示例,请参阅https://blogs.aws.amazon.com/security/post/Tx3D6U6WSFGOK2H/A-New-and-Standardized-Way-to-Manage-Credentials-in-the-AWS-SDKs。