蒸馏bert和svm进行文本分类

Question

我正在使用DistillBert拥抱脸来获取单词的矢量嵌入。抱脸示例的输出将是三维的火炬张量。如何将这些嵌入内容提供给SVM？ 我确实分离了向量，然后将其整形为2维，作为SVM的输入。我想知道这是对的吗？ 所以在这里，我有一个句子列表。我将进行for循环并获取向量。 码： '''

embeddings=[]
embedding_np_array=[]
for i in my_list:
   tokenizer = DistilBertTokenizer.from_pretrained('distilbert-base-uncased')
   model = DistilBertModel.from_pretrained('distilbert-base-uncased')
   input_ids = torch.tensor(tokenizer.encode("Hello, my dog is cute")).unsqueeze(0)
   outputs = model(input_ids)
   last_hidden_states = outputs[0]
   embeddings.append(last_hidden_states)

for i in embeddings:
     embedding_np_array.append(i.detach().numpy())
input_svm=embedding_np_array.reshape(embedding_np_array.reshape[0],-1)

'''