如何从S3存储桶加载pickle(.pkl)文件

时间:2017-04-11 18:28:35

标签: python amazon-web-services amazon-s3 pickle

我已成功从Amazon S3读取csv文件。但我有情绪模型的.pkl文件。我想加载这个.pkl文件来预测情绪。这是我的代码 -

import cPickle
import boto3
import pandas as pd
import boto3.session

session = boto3.session.Session(region_name='eu-central-1')
s3client = session.client('s3', config= boto3.session.Config(signature_version='s3v4'),aws_access_key_id='my-ACCESS-KEY-ID',
         aws_secret_access_key='my-ACCESS-KEY')

response = s3client.get_object(Bucket='sentiment-data', Key='positive_model_data.pkl')

nb_detector = cPickle.load(open(response['Body']))
nb_predict = nb_detector.predict('food is very good')[0]
print nb_predict 

错误 强制转换为Unicode:需要字符串或缓冲区,找到StreamingBody

如何从S3 ???

加载pickel文件

1 个答案:

答案 0 :(得分:8)

cPickle.load()方法需要一个文件。您需要使用loads方法而不是loadloads需要字符串数据,如错误消息中所述。但是,response['Body']会为您提供StreamingBodyStreamingBody有一个名为read的方法,可以返回字符串内容。

...
body_string = response['Body'].read()
positive_model_data = cPickle.loads(body_string)
print positive_model_data
...

它对你有用吗?