Question

我只想计算一些7500个文件中的字数，其中包含要计算的单词的条件。该计划是这样的。

import glob
import mincemeat

text_files = glob.glob('../fldr/2/*')
def file_contents(file_name):
f = open(file_name)
try:
    return f.read()
finally:
    f.close()

source = dict((file_name, file_contents(file_name))
          for file_name in text_files)

def mapfn(key, value):
  for line in value.splitlines():
    list2 = [ ]
    for temp in line.split("::::"):
        list2.append(temp)
    if (list2[0] == '5'):
        for review in list2[1].split():
            yield [review.lower(),1]

def reducefn(key, value):
  return key, len(value)

s = mincemeat.Server()
s.datasource = source
s.mapfn = mapfn
s.reducefn = reducefn

results = s.run_server(password="wola")
print results

运行此程序时出现的错误是

error: uncaptured python exception, closing channel <__main__.Client connected at 0x250f990> 
(<type 'exceptions.IndexError'>:list index out of range 
 [C:\Python27\lib\asyncore.py|read|83] 
 [C:\Python27\lib\asyncore.py|handle_read_event|444] 
 [C:\Python27\lib\asynchat.py|handle_read|140] 
 [mincemeat.py|found_terminator|96]
 [mincemeat.py|process_command|194] 
 [mincemeat.py|call_mapfn|170] 
 [projminc2.py|mapfn|21])

Answer 1

看一下list2中的内容，例如通过做

print(list2)

或使用调试器。如果你这样做，你会看到list2只有一个元素，所以list2 [1]无效。

（你真的不想拆分“::::” - 这是你脚本中的拼写错误。）

为什么我在使用mincemeat时会在map-reduce中继续出现此错误？

1 个答案: