Question

我是Sagemaker的新手，不确定如何在AWS sagemaker中对文本输入进行分类，

假设我有一个数据框，其中有两个字段，例如“ Ticket”和“ Category”，两者都是文本输入，现在我想将其拆分为测试和训练集，并以Sagemaker训练模型上传。

X_train, X_test, y_train, y_test = model_selection.train_test_split(fewRecords['Ticket'],fewRecords['Category'])

现在，我要执行TD-IDF特征提取，然后将其转换为数值，因此执行此操作

tfidf_vect = TfidfVectorizer(analyzer='word', token_pattern=r'\w{1,}', max_features=5000)
tfidf_vect.fit(fewRecords['Category'])
xtrain_tfidf =  tfidf_vect.transform(X_train)
xvalid_tfidf =  tfidf_vect.transform(X_test)

当我想在Sagemaker中上传模型时，可以执行

之类的下一个操作

buf = io.BytesIO()
smac.write_numpy_to_dense_tensor(buf, xtrain_tfidf, y_train)
buf.seek(0)

我收到此错误

---------------------------------------------------------------------------
ValueError                                Traceback (most recent call last)
<ipython-input-36-8055e6cdbf34> in <module>()
      1 buf = io.BytesIO()
----> 2 smac.write_numpy_to_dense_tensor(buf, xtrain_tfidf, y_train)
      3 buf.seek(0)

~/anaconda3/envs/python3/lib/python3.6/site-packages/sagemaker/amazon/common.py in write_numpy_to_dense_tensor(file, array, labels)
     98             raise ValueError("Label shape {} not compatible with array shape {}".format(
     99                              labels.shape, array.shape))
--> 100         resolved_label_type = _resolve_type(labels.dtype)
    101     resolved_type = _resolve_type(array.dtype)
    102 

~/anaconda3/envs/python3/lib/python3.6/site-packages/sagemaker/amazon/common.py in _resolve_type(dtype)
    205     elif dtype == np.dtype('float32'):
    206         return 'Float32'
--> 207     raise ValueError('Unsupported dtype {} on array'.format(dtype))

ValueError: Unsupported dtype object on array

除此异常外，我不清楚这是否正确，因为TfidfVectorizer将该系列转换为Matrix。

代码在我的本地计算机上运行正常，但是不确定如何在Sagemaker上执行相同的操作。提到的所有示例都太冗长，对于仍然接触SciKit Learn的人来说不是

Answer 1

TfidfVectorizer的输出是一个稀疏稀疏矩阵，而不是简单的numpy数组。

因此请使用其他功能，例如：

write_spmatrix_to_sparse_tensor

“”“将稀疏矩阵写成稀疏张量”“”

有关更多详细信息，请参见this issue。

OR 首先将TfidfVectorizer的输出转换为密集的numpy数组，然后使用上面的代码

xtrain_tfidf =  tfidf_vect.transform(X_train).toarray()   
buf = io.BytesIO()
smac.write_numpy_to_dense_tensor(buf, xtrain_tfidf, y_train)
...
...

AWS Sagemaker |如何训练文本数据|机票分类

1 个答案: