在S3对象到达时从Lambda触发EMR上的python脚本,并带有对象详细信息

时间:2019-05-07 04:04:22

标签: python amazon-web-services amazon-s3 hive amazon-emr

我正在尝试使用名称和路径等对象详细信息触发lambda函数对象到达s3 alonng。然后在EMR上触发python脚本,该脚本将访问s3上的文件。请让我知道我如何触发python脚本(可能在pig / hive脚本中?)来处理EMR上的文件,这将触发此操作?

一旦我们从hive / pig脚本的lambda触发器获取了详细信息,便可以将文件复制到本地。

s3_client = boto3.client('s3')
s3_client.download_file('s3:n//<bucket name>/','', '/home/hadoop/data/')

请让我知道该怎么做。文件将每30-40分钟发送一次。

0 个答案:

没有答案