Question

我目前正在与sklearn合作（我是初学者），我想训练和测试一个非常简单的分类器。

我的训练和测试数据的结构如下：

 ----|----|----|----|----|----|------|----|----|----|-------  
  f1 | f2 | f3 | c1 | c2 | c3 | word | c4 | c5 | c6 | label   
 ----|----|----|----|----|----|------|----|----|----|-------

位置：

f1: feature 1, binary numerical type like 0
f2: feature 2, binary numerical type like 1
f3: feature 3, binary numerical type like 0
c1: context 1, string type like "from"
c2: context 2, string type like "this"
c3: context 3, string type like "website"
word: central word (string) of the context like "http://.."
c4: context 4, string type
c5: context 5, string type
c6: context 6, string type
label: this is the label (string) that the classifier has to train and predict like: "URL" (I have only three types of label: REF,IRR,DATA)

我想要做的是将上下文字符串特征转换为数字特征。每个字符串字段最多由一个单词组成。

主要目标是为每个上下文和单词字符串分配一个数值，以使系统正常运行。我认为可以定义如下词汇：

{ from, website, to, ... }

并将此词汇表提供给DictVectorizer，但我现在不知道该怎么做。

我真正想做的是生成大量的二元特征：紧接在该词之前的“ from”一词是一个特征； “可用”一词在另一个词之后的两个位置。但是我真的不知道如何。

这是我试图做的：

#I tried to read the train csv:
train = pd.read_csv('train.csv')

#Drop the label field:
train_X = train.drop(['label'],axis=1)

#Take the other parameters:
train_y = train.label.values

#Then I convert the panda's data type into a dictionary: 
train_X = train_X.to_dict('r')

#And I tried to vectorize everything:
vec = DictVectorizer()
train_X = vec.fit_transform(train_X).toarray()

显然没有用。这是因为上下文和单词字段可以是一个很大的单词，例如url。

有什么建议吗？我接受各种解决方案。

非常感谢您。

Answer 1

如果唯一词是有限的，则可以使用熊猫做类似的事情。

mapping_dict = {'word1':0,
                'word2':1,
                'word3':3  }

df[col] = df[col].str.map(mapping_dict)

将sklearn和pandas中的字符串特征转换为数字特征

1 个答案: