如果doc不存在,如何在使用pyspark进行批量更新时忽略异常

时间:2017-06-23 22:28:16

标签: python apache-spark elasticsearch pyspark elasticsearch-hadoop

我正在尝试使用pyspark中的elasticsearch hadoop包进行更新操作。它在文档中说如果没有找到数据,则抛出异常。在pyspark中忽略此异常的最佳方法是什么?或者是否可以通过python elasticsearch API传递一些类似raise_on_exception = False,raise_on_error = False的内容?谢谢!

1 个答案:

答案 0 :(得分:0)

最后得到了答案:https://discuss.elastic.co/t/how-to-ignore-exceptions-when-bulk-update-with-pyspark-if-doc-doesnt-exist/90739/2

"发生错误时无法抑制错误。如果执行更新时缺少某个值,则连接器无法执行任何操作,但任务失败。"