我正在从python的Elasticsearch中插入数据。分析数据并将其存储在pandas数据框中。数据帧将转换为dict,然后转换为元组,以插入数据。这可行,但有时会给出超时错误。我一直在寻找避免超时的方法。
es = Elasticsearch([target_elasticSearchUrl])
j = helpers.bulk(es,tuple(insert_df.to_dict(orient='records')), index = target_index,doc_type='doc')
因此,我尝试将元组的大小限制为500,这减少了超时实例,但是却极大地影响了性能。因为我要上传的记录超过100万。
我正在寻找避免对性能造成影响的方法,或者寻求除批量插入之外的其他在Elasticsearch中插入数据的方法。