我尝试使用IBM Watson Natural Language Understanding服务测试网站。我使用此工具(https://natural-language-understanding-demo.mybluemix.net/)并从我们的网站输入网址进行测试。
使用我们的生产服务器(https://www.knox.edu),我在网站的每个页面都收到以下错误。
{code: 400, error: "attempt to fetch failed: :closed"}
使用同一站点(https://cmstest.knox.edu/test)的测试服务器,但一切正常。
什么会导致我们的生产服务器出错?
谢谢!
答案 0 :(得分:0)
此错误通常是由网站的robots.txt引起的,导致Watson NLU服务无法抓取该网址。
检查您的robots.txt文件,看看它是否阻止了用户代理(可能是全局的)。
在此处使用Python SDK讨论此错误还有一些其他信息:https://github.com/watson-developer-cloud/python-sdk/issues/199
答案 1 :(得分:0)
看起来NLU已经更新了他们的抓取引擎,你提到的网站现在可以从NLU抓取,当我运行类别调用时我收到以下输出
{
"categories": [{
"score": 0.999469,
"label": "/education/graduate school/college"},{
"score": 0.497251,
"label": "/law, govt and politics/legal issues/legislation/tax laws},{
"score": 0.466882,
"label": "/travel/tourist destinations/africa"}]
}