我已经成功地流传输了一个文件,然后逐行读取它;做大杂烩(用逗号分隔行(,
))。但是,对我而言,最好的方法是读取data frame
中的文件。我想使用熊猫流式传输通过S3上传的CSV文件。
我当前的代码是:
def create_file_object_for_streaming(self):
self.file_object = self.bucket.Object(key=self.key_name)
print("File object is: " + str(self.file_object))
return self.file_object
self.response = self.file_object.get()
row_counter = 0
self.key_indices = []
for row in codecs.getreader(self.encoding)(self.response[u'Body']).readlines():
row_list = row.split(",")
print(row_list)