Question

这里没有偏见，但是我发现很难在AWS文档中找到任何内容。 Microsoft Azure对我来说要容易得多。

这是我现在拥有的：

一个完全使用Python构建的二进制分类应用程序，其中xgboost是ML模型。这里xgboost具有一组从SageMaker获得的优化的超参数。
一个SageMaker笔记本可启动xgboost的超参数调整作业。然后，我在Python应用程序中手动将超参数复制并粘贴到xgboost模型中以进行预测。

如您所见，我的做法与理想相去甚远。我现在想做的是在Python应用程序中添加一段代码，以自动在SageMaker中启动超参数作业，并返回最佳模型。这样，超参数作业将自动执行，而我无需再次复制和粘贴。

但是，我还没有做到这一点。我遵循此documentation来安装Python SageMaker API。我也有以下代码在SageMaker笔记本中执行XGBoost超参数调整：

 def train_xgb_sagemaker(df_train, df_test):
    pd.concat([df_train['show_status'], df_train.drop(['show_status'], axis=1)], axis=1).to_csv('train.csv',
                                                                                                index=False,
                                                                                                header=False)
    pd.concat([df_test['show_status'], df_test.drop(['show_status'], axis=1)], axis=1).to_csv('validation.csv',
                                                                                              index=False, header=False)

    boto3.Session().resource('s3').Bucket(bucket, prefix).upload_file(
        'train.csv')

    boto3.Session().resource('s3').Bucket(bucket, prefix).upload_file(
        'validation.csv')

    s3_input_train = sagemaker.s3_input(s3_data='s3://{}/{}/train'.format(bucket, prefix), content_type='csv')
    s3_input_validation = sagemaker.s3_input(s3_data='s3://{}/{}/validation/'.format(bucket, prefix), content_type='csv')

    print('train_path: ', s3_input_train)
    print('validation_path: ', s3_input_validation)

    # hyperparameter tuning of XGBoost - SageMaker
    sess = sagemaker.Session()

    container = get_image_uri(region, 'xgboost', 0.90 - 1)
    xgb = sagemaker.estimator.Estimator(container,
                                        role,
                                        train_instance_count=1,
                                        train_instance_type='ml.m4.xlarge',
                                        output_path='s3://{}/{}/output'.format(params['BUCKET'], prefix),
                                        sagemaker_session=sess)

    xgb.set_hyperparameters(eval_metric='auc',
                            objective='binary:logistic',
                            num_round=100,
                            rate_drop=0.3,
                            tweedie_variance_power=1.4)

    hyperparameter_ranges = {'eta': ContinuousParameter(0, 1),
                             'min_child_weight': ContinuousParameter(1, 10),
                             'alpha': ContinuousParameter(0, 2),
                             'max_depth': IntegerParameter(1, 10),
                             'num_round': IntegerParameter(1, 300)}

    objective_metric_name = 'validation:auc'

    tuner = HyperparameterTuner(xgb,
                                objective_metric_name,
                                hyperparameter_ranges,
                                max_jobs=20,
                                max_parallel_jobs=3)

    tuner.fit({'train': s3_input_train, 'validation': s3_input_validation}, include_cls_metadata=False)

    smclient.describe_hyper_parameter_tuning_job(
        HyperParameterTuningJobName=tuner.latest_tuning_job.job_name)['HyperParameterTuningJobStatus']

    print('Please check hyperparameter tuning for best models!')
    time.sleep(4000)
    # best_model_path = 's3://{}/{}/output/{}/output/model.tar.gz'.format(bucket, prefix, tuner.best_training_job())
    return tuner.best_training_job()

所以问题是如何将这段代码嵌入到我的Python应用程序中，以便我可以在一处完成所有工作？非常感谢您提供的任何提示，因为我已经困扰这个问题好几天了！

Answer 1

实际上存在一个python SDK调用，用于部署超参数调整作业的最佳性能模型：

tuner.deploy()

找到相关文档here

如何使用AWS SageMaker在外部进行XGBoost超参数调整？

1 个答案: