在我想对描述进行聚类之后,我想确定两个列表之间的相似性。
L2D1 L2D2 L2D2 .........L2Dn
L1D1 0 0.3 0.8............0.5
L1D2 0.2 0.7 0.3............0.2
L1D3 0 0.3 0.8............0.5
. . . . .
. . . . .
. . . . .
L1Dn 0.6 0.1 0.9............0.4
from Levenshtein import distance
List1 = list(new['Description'])
List2 = list(clean['Description'])
Matrix = np.zeros((len(List1),len(List2)),dtype=np.int)
for i in range(0,len(List1)):
for j in range(0,len(List2)):
Matrix[i,j] = distance(List1[i],List2[j])
由于上述方法由于数据的大小和长度而非常耗时。
我尝试比较描述的前五个词(如果仅匹配),然后计算两个字符串之间的距离,否则转到方法2中列表的下一个描述。
#Method2
for i in range(0,len(List1)):
K1[i]=str(List1[:1]).split()[0:5]
for j in range(0,len(List2)):
K1[i]=str(List2[:1]).split()[0:5]
if (distance(K1[i],K2[j]))==0:
Matrix[i,j]=distance(List1[i],List2[j])
else:
Matrix[i,j]=1000
但是由于我是新手,所以缺少一些逻辑并得到:
TypeError:'int'对象不支持项目分配
我也想在接下来的10个和100个单词中实现相同的功能。预先感谢。
答案 0 :(得分:0)
我认为,您应该查看numpy文档和ndarray class。
这是一点点pythonic方式:
for i, new_value in enumerate(List1):
for j, clean_value in enumerate(List2):
Matrix[i,j] = distance(new_value, clean_value)