如何使用Pandas数据帧通过S3流式传输(而不下载)CSV文件?

时间:2018-10-01 06:32:59

标签: python pandas amazon-web-services amazon-s3

我已经成功地流传输了一个文件,然后逐行读取它;做大杂烩(用逗号分隔行(,))。但是,对我而言,最好的方法是读取data frame中的文件。我想使用熊猫流式传输通过S3上传的CSV文件。

我当前的代码是:

def create_file_object_for_streaming(self):
        self.file_object = self.bucket.Object(key=self.key_name)
        print("File object is: " + str(self.file_object))
        return self.file_object
self.response = self.file_object.get()
        row_counter = 0
        self.key_indices = []
        for row in codecs.getreader(self.encoding)(self.response[u'Body']).readlines():
            row_list = row.split(",")
            print(row_list)

0 个答案:

没有答案