以下是我尝试打开hdfs文件时使用的伪代码:
import boto3
session = boto3.Session(profile_name='*profile*', region_name="eu-central-
1")
s3 = session.client('s3')
hdfs_path = 'hdfs://user/userName/test.csv'
object_data = open(hdfs_path, 'rb')
s3.put_object(Bucket='bkt-test-s3-testbkt', Key='t1.txt',
Body=object_data,ServerSideEncryption='AES256',ACL='bucket-owner-full-
control')
不知何故,我收到错误消息,说不存在这样的目录(“ hdfs_path”存在于我的hdfs-loc中),在这里我对本地文件的s3使用相同的代码。我也尝试过使用smart_open和snakebite模块,但我们不会使用它们。
使用boto3有什么办法可以完成此任务吗?
要做的任务: