我发送了几个串行请求(get_docs函数),每个请求返回一个包含200000个元素的数组。
然后用基本数组扩展它,以便将所有数据放在一个数组中:
for iteration in range(0, int(es_request_count)):
from_value = iteration * 200000
docs = get_docs(from_value)
external_ids.extend(docs)
print "Total array length is " + str(len(external_ids))
当我得到数组大小5400000 进程被杀。
如何解决这个问题?我是否需要为进程提供更多内存,或者是否有办法增加最大数组?