Question

我正在计算许多文本文件（140个文档）中单词的频率，我的工作结束是创建一个csv文件，我可以通过单个文档和所有文档来命令每个单词的频率。

我想说：

absolut_freq= {u'hello':0.001, u'world':0.002, u'baby':0.005}
doc_1= {u'hello':0.8, u'world':0.9, u'baby':0.7}
doc_2= {u'hello':0.2, u'world':0.3, u'baby':0.6}
...
doc_140={u'hello':0.1, u'world':0.5, u'baby':0.9}

所以，我需要的是一个在excel中导出的cvs文件，如下所示：

WORD,  ABS_FREQ, DOC_1_FREQ, DOC_2_FREQ, ..., DOC_140_FREQ
hello, 0.001     0.8         0.2              0.1
world, 0.002     0.9         0.03             0.5
baby,  0.005     0.7         0.6              0.9

我怎么能用python做到这一点？

Answer 1

您还可以将其转换为Pandas Dataframe并将其另存为csv文件或以干净的格式继续分析。

absolut_freq= {u'hello':0.001, u'world':0.002, u'baby':0.005}
doc_1= {u'hello':0.8, u'world':0.9, u'baby':0.7}
doc_2= {u'hello':0.2, u'world':0.3, u'baby':0.6}
doc_140={u'hello':0.1, u'world':0.5, u'baby':0.9}


all = [absolut_freq, doc_1, doc_2, doc_140]

# if you have a bunch of docs, you could use enumerate and then format the colname as you iterate over and create the dataframe
colnames = ['AbsoluteFreq', 'Doc1', 'Doc2', 'Doc140']


import pandas as pd

masterdf = pd.DataFrame()

for i in all:
    df = pd.DataFrame([i]).T
    masterdf = pd.concat([masterdf, df], axis=1)

# assign the column names
masterdf.columns = colnames

# get a glimpse of what the data frame looks like
masterdf.head()

# save to csv 
masterdf.to_csv('docmatrix.csv', index=True)

# and to sort the dataframe by frequency
masterdf.sort(['AbsoluteFreq'])

Answer 2

无论您想如何编写此数据，首先您需要一个有序的数据结构，例如2D列表：

docs = []
docs.append( {u'hello':0.001, u'world':0.002, u'baby':0.005} )
docs.append( {u'hello':0.8, u'world':0.9, u'baby':0.7} )
docs.append( {u'hello':0.2, u'world':0.3, u'baby':0.6} )
docs.append( {u'hello':0.1, u'world':0.5, u'baby':0.9} )
words = docs[0].keys()
result = [ [word] + [ doc[word] for doc in docs ] for word in words ]

然后您可以使用内置的csv模块：https://docs.python.org/2/library/csv.html

Answer 3

你可以使它主要是一个数据驱动的过程 - 只给出所有字典变量的变量名 - 首先创建一个table，其中列出了所有数据，然后使用{{1模块用于编写转置（用于交换行的列）将其版本化为输出文件。

csv

生成的CSV文件：

import csv

absolut_freq = {u'hello': 0.001, u'world': 0.002, u'baby': 0.005}
doc_1 = {u'hello': 0.8, u'world': 0.9, u'baby': 0.7}
doc_2 = {u'hello': 0.2, u'world': 0.3, u'baby': 0.6}
doc_140 ={u'hello': 0.1, u'world': 0.5, u'baby': 0.9}

dic_names = ('absolut_freq', 'doc_1', 'doc_2', 'doc_140')  # dict variable names

namespace = globals()
words = namespace[dic_names[0]].keys()  # assume dicts all contain the same words
table = [['WORD'] + list(words)]  # header row (becomes first column of output)

for dic_name in dic_names:  # add values from each dictionary given its name
    table.append([dic_name.upper()+'_FREQ'] + list(namespace[dic_name].values()))

# Use open('merged_dicts.csv', 'wb') for Python 2.
with open('merged_dicts.csv', 'w', newline='') as csvfile:
    csv.writer(csvfile).writerows(zip(*table))

print('done')

从多个词典创建一个csv文件？

3 个答案: