Question

我有一个多处理python脚本，用于将文本文件中的数据加载到cassandra中。该过程确实插入了大约20-30分钟，但后来我得到了这个错误：

Traceback (most recent call last):
  File "multiCass.py", line 38, in <module>
    mp_handler(file_data, N_Proc)
  File "multiCass.py", line 24, in mp_handler
    p.map(mp_worker, inputData, chunksize=1)
  File "/usr/lib64/python2.6/multiprocessing/pool.py", line 148, in map
    return self.map_async(func, iterable, chunksize).get()
  File "/usr/lib64/python2.6/multiprocessing/pool.py", line 422, in get
    raise self._value
cassandra.cluster.NoHostAvailable: ('Unable to connect to any servers', {'10.205.111.43': OperationTimedOut('errors=errors=None, last_host=None, last_host=None',)})

为什么它会工作20-30分钟，然后又会抛出这个错误？

Answer 1

该错误表明您的C *集群正在超载。如果查看日志，可能会在发生错误时同时看到一个长GC。如果在报告错误后C *在该计算机上完全关闭，您将要检查系统日志中是否有导致系统关闭的错误。

如果插入量与GC相关的暂停停止插入，请尝试限制插入量。

cassandra python数据加载丢失连接

1 个答案: