Question

我创建了一个K-means培训作业，其中包含我存储在S3中的csv文件。过了一会儿，我收到以下错误：

Training failed with the following error: ClientError: Rows 1-5000 in file /opt/ml/input/data/train/features have more fields than than expected size 3.

我的文件可能有什么问题？

以下是我传递给sagemaker.create_training_job

的参数

        TrainingJobName=job_name,
        HyperParameters={
            'k': '2',
            'feature_dim': '2'
        },
        AlgorithmSpecification={
            'TrainingImage': image,
            'TrainingInputMode': 'File'
        },
        RoleArn='arn:aws:iam::<my_acc_number>:role/MyRole',
        OutputDataConfig={
            "S3OutputPath": output_location
        },
        ResourceConfig={
            'InstanceType': 'ml.m4.xlarge',
            'InstanceCount': 1,
            'VolumeSizeInGB': 20,
        },
        InputDataConfig=[
            {
                'ChannelName': 'train',
                'ContentType': 'text/csv',
                "CompressionType": "None",
                "RecordWrapperType": "None",
                'DataSource': {
                    'S3DataSource': {
                        'S3DataType': 'S3Prefix',
                        'S3Uri': data_location,
                        'S3DataDistributionType': 'FullyReplicated'
                    }
                }
            }
        ],
        StoppingCondition={
            'MaxRuntimeInSeconds': 600
        }

Answer 1

我已经看到在进行无监督学习时出现了这个问题，例如上述使用聚类的示例。如果您有csv输入，还可以通过在InputDataConfig分支内的Sagemaker API调用的ContentType参数中设置label_size=0来解决此问题。

以下是通话相关部分的示例：

"InputDataConfig": [
    {
        "ChannelName": "train",
        "DataSource": {
            "S3DataSource": {
                "S3DataType": "S3Prefix",
                "S3Uri": "some/path/in/s3",                       
                "S3DataDistributionType": "ShardedByS3Key"
            }
        },
        "CompressionType": "None",
        "RecordWrapperType": "None",
        "ContentType": "text/csv;label_size=0"
    }
]

Answer 2

请确保您的.csv没有列标题，并且标签是第一列。还要确保您的超参数值是准确的，即feature_dim表示集合中的特征数量。如果您给它错误的值，它将破坏。

此处列出了sagemaker knn超参数及其含义的列表：https://docs.aws.amazon.com/sagemaker/latest/dg/kNN_hyperparameters.html

sagemaker clienterror行1-5000具有比预期大小3更多的字段

2 个答案: