使用boto3和subprocess-python

时间:2019-03-22 15:33:37

标签: python amazon-s3 hdfs boto3

以下是我尝试打开hdfs文件时使用的伪代码:

import boto3
session = boto3.Session(profile_name='*profile*', region_name="eu-central- 
1")
s3 = session.client('s3')
hdfs_path = 'hdfs://user/userName/test.csv'
object_data = open(hdfs_path, 'rb')
s3.put_object(Bucket='bkt-test-s3-testbkt', Key='t1.txt', 
Body=object_data,ServerSideEncryption='AES256',ACL='bucket-owner-full- 
control')

不知何故,我收到错误消息,说不存在这样的目录(“ hdfs_path”存在于我的hdfs-loc中),在这里我对本地文件的s3使用相同的代码。我也尝试过使用smart_open和snakebite模块,但我们不会使用它们。

使用boto3有什么办法可以完成此任务吗?

要做的任务:

  1. 列出hdfs中的文件
  2. 将特定的hdfs文件上传到aws-s3
  3. 以及如何使用子流程模块执行此任务。

0 个答案:

没有答案