使用Storm Crawler 1.12.1和Elastic search6.5.x。我的抓取工具正在http://localhost:8080上运行，弹性搜索正在https://localhost:9200上运行。我正在尝试抓取网站。在URL注入过程中，我遇到javax.net.ssl.SSLHandshakeException: General SSLEngine problem错误并检查the detailed error here。
我尝试使用OKHttp，并将https.protocol.implementation: "com.digitalpebble.stormcrawler.protocol.okhttp.HttpProtocol"添加到crawler-conf.yaml中。
如何临时关闭证书验证。
答案 0 :(得分：1)
正如@ julien-nioche在其评论中指出的那样：StormCrawler在URL注入过程中不会提取。
SSLHandshakeException很可能源自您的ElasticSearch实例。您的ElasticSearch是否真的在HTTPS上运行在https://localhost:9200上？
stacktrace指示无法验证证书路径。
Caused by: sun.security.provider.certpath.SunCertPathBuilderException: unable to find valid certification path to requested target
要解决此问题，您可以将证书添加到本地密钥库中。有关此主题的详细信息，您可以查看此answer。另一种可能性是在您本地开发设置的ElasticSearch实例上禁用HTTPS。