我正在尝试使用名称和路径等对象详细信息触发lambda函数对象到达s3 alonng。然后在EMR上触发python脚本,该脚本将访问s3上的文件。请让我知道我如何触发python脚本(可能在pig / hive脚本中?)来处理EMR上的文件,这将触发此操作?
一旦我们从hive / pig脚本的lambda触发器获取了详细信息,便可以将文件复制到本地。
s3_client = boto3.client('s3')
s3_client.download_file('s3:n//<bucket name>/','', '/home/hadoop/data/')
请让我知道该怎么做。文件将每30-40分钟发送一次。