Question

我对从AWS（SageMaker）线性学习器获得的结果有疑问。

就是说，我试图复制从R，SAS或Knime获得的结果（使用线性回归），但是不幸的是，从线性学习器中获得的结果与上述3种计算方法有所不同。

我尝试了不同的超参数和配置，但是即使在非常简单的情况下，如果合成数据满足关系，我仍然得到不精确的回归结果

Y = X1 + 2 * X2 + 3

在这种情况下，精确的回归系数等于1,2，并且截距为3。与上述其他软件不同，SageMaker线性学习器向我返回的值甚至不接近正确的值。例如。在一个示例中，我得到[0.91547656 1.9826275 3.023757]，这根本不能令人满意。您可以在这里看到我代码的相关部分！

study=((1.0,3.0,10.0),(2.0,3.0,11.0),(3.0,2.0,10.0),(4.0,7.0,21.0),(5.0,4.0,16.0))
a = np.array(study).astype('float32')
other_columns=a[:,[0,1]]
labels = a[:,2]
buf = io.BytesIO()
smac.write_numpy_to_dense_tensor(buf, other_columns, labels)
buf.seek(0)
key = 'my-training-data'
boto3.resource('s3').Bucket(bucket).Object(os.path.join(prefix, 'train', key)).upload_fileobj(buf)
s3_train_data = 's3://{}/{}/train/{}'.format(bucket, prefix, key)
output_location = 's3://{}/{}/output'.format(bucket, prefix)

container = get_image_uri(boto3.Session().region_name, 'linear-learner')

import boto3
sess = sagemaker.Session()
linear = sagemaker.estimator.Estimator(container,
                                       role, 
                                       train_instance_count=1, 
                                       train_instance_type='ml.c4.xlarge',                                       
                                       output_path=output_location,
                                       sagemaker_session=sess)
linear.set_hyperparameters(feature_dim=2,
                           predictor_type='regressor',
                           loss='squared_loss',
                           epochs=50,
                           early_stopping_patience=100,
                           mini_batch_size=4)
linear.fit({'train': s3_train_data})

您对观察到的不精确结果有一些解释吗？

谢谢尼古拉斯

Answer 1

您没有获得准确结果的两个可能原因是随机梯度下降（SGD）和正则化，这两种方法都在Linear Learner中使用。对于许多现实世界中的机器学习问题，SGD和正则化是正确的做法，但是在此玩具示例中，它们会导致结果不准确。

SGD是一种优化技术，除其他优点外，还可以在大型数据集上很好地扩展。随着示例数量的增加和维度的增加，它可以很好地缩放。 SGD不适合非常小的问题。对于庞大的数据集，SGD是唯一有效的解决方案。对于大型，中型和小型数据集，Linear Learner中的SGD的性能与其他求解器一样好，这是因为该算法具有内置的优化功能，例如对学习速率和其他超参数的多个设置进行并行探索。但是对于该示例数据集，该数据集具有零噪声（特征和标签之间的关系是确定性的）并且只有5个示例，那么更精确且可伸缩性较小的求解器将做得更好。

在线性学习器中默认应用正则化。要关闭它，请设置'wd'=0.0和'l1'=0.0。该算法探索正则化的多个值，包括无正则化，并选择在验证集上具有最佳准确性的模型，或者如果没有验证集，则在训练数据上选择最佳准确性的模型。但由于在这种情况下可从中学习的数据非常少，因此该选择实质上是随机的。因此，最终模型可能使用了正则化。正则化将模型权重（而不是偏差）推向零，因此可以解释文章中提到的参数估计：[0.91547656 1.9826275 3.023757]而不是[1.0 2.0 3.0]。将这两个权重推向零，并且偏倚略高以进行补偿。

在大多数实际应用中，正则化非常有用。用一定量的正则化训练模型几乎总是减少泛化误差（即样本误差）的最佳方法。对于现实世界的数据集，使用正则化是正确的做法，但是它将在不存在噪声且线性模型的假设完全正确的情况下为该数据集提供不精确的解决方案。

对于小型数据集上的线性回归问题的精确解决方案，请使用QR分解之类的求解器。示例是SKLearn的LinearRegression类或R中的lm函数。但是请记住，这些方法将难以扩展到更大的数据集。也许更重要的是，我们应该关闭精确的样本内解决方案的正则化，但是与带有正则化的解决方案相比，精确的解决方案通常在看不见的数据上的性能更差。

SKLearn已实施了多个优化器，包括SGD。这是将SKLearn中的SGD求解器应用于示例数据的示例。默认情况下，SKLearn中还启用了正则化功能。由于上述原因，解决方案不准确。

>>> from sklearn import linear_model
>>> import numpy as np
>>> study=((1.0,3.0,10.0),(2.0,3.0,11.0),(3.0,2.0,10.0),(4.0,7.0,21.0),(5.0,4.0,16.0))
>>> a = np.array(study).astype('float32')
>>> other_columns=a[:,[0,1]]
>>> labels = a[:,2]
>>> reg = linear_model.SGDRegressor(max_iter=50)
>>> reg.fit(other_columns, labels)
SGDRegressor(alpha=0.0001, average=False, epsilon=0.1, eta0=0.01,
       fit_intercept=True, l1_ratio=0.15, learning_rate='invscaling',
       loss='squared_loss', max_iter=50, n_iter=None, penalty='l2',
       power_t=0.25, random_state=None, shuffle=True, tol=None, verbose=0,
       warm_start=False)
>>> reg.coef_
array([1.39560259, 2.17536485])
>>> reg.intercept_
array([0.77972575])

SageMaker线性学习器的结果不准确吗？

1 个答案: