如何使用Azure ML中的python从S3读取数据

时间:2018-04-28 01:36:21

标签: python pandas azure dataframe azure-machine-learning-studio

import boto3
import io
import pandas as pd

# The entry point function can contain up to two input arguments:
#   Param<dataframe1>: a pandas.DataFrame
#   Param<dataframe2>: a pandas.DataFrame
def azureml_main(dataframe1 = None, dataframe2 = None):
    s3 = boto3.client('s3',
    aws_access_key_id='REMOVED',
    aws_secret_access_key='REMOVED')
    obj = s3.get_object(Bucket='bucket', Key='data.csv000')
    df = pd.read_csv(io.BytesIO(obj['Body'].read()))
    return df,

我想使用Execute Python模块从S3读取数据。我已经下载了boto3包并将其转换为zip。然后我上传并将.zip连接到模块的第三个输入选项。当我运行此代码时,我收到一条错误,指出未安装botocore。有没有人能够直接从S3读入Azure ML工作室?我尝试过使用也失败的R脚本模块,所以现在我正在尝试python。

1 个答案:

答案 0 :(得分:1)

由于$this->Posts_model->update_post($post_image); 包有dependencies,即使是从git克隆的一些,我也不认为Azure ML Studio可以使用它。根据{{​​3}}中的说明,切换到documentation会更容易,因为它可以更轻松地处理Python包。

如果您需要使用Azure ML Studio,另一个选择是从S3复制到Azure Blob存储,ML Studio非常支持它。

答案不是很多,但我担心你已经达到了Azure ML Studio的限制。