Facebook无法抓取我的网站

时间:2016-03-24 07:30:48

标签: facebook facebook-graph-api dns web-scraping asp.net-core

我知道这个问题已被问过几次,但我没有找到解决问题的方法。 我想在共享时在Facebook上使网页呈现得很好,所以我使用了Open Graph Object Debugger,但Facebook根本无法抓取我的网站。

这是一个托管在CentOS服务器上的ASP.NET核心网站。不知道这些信息是否相关。

我只按照Facebook的要求一次包含og-tags

<meta property="og:title" content="Export your Here Maps favorites to Windows 10 Bing Maps" />
<meta property="og:type" content="article" />
<meta property="og:image" content="http://www.jmevel.com/Resources/MapsFavoritesImporter.jpg" />
<meta property="og:image:width" content="1200" />
<meta property="og:image:height" content="630" />
<meta property="og:url" content="http://www.jmevel.com/MapsFavoritesImporter" />
<meta property="og:description" content="Here Maps favorites exporter" />

但我有时会遇到这个错误 enter image description here

有时这一个enter image description here

我试图分享它以迫使Facebook抓取此页面但没有结果。

几天前我第一次尝试使用Open Graph Object Debugger时,我使用服务 ngrok.io 在调试时转发我的本地服务器并将其公开。它运作良好,此时,Facebook能够通过ngrok.io地址刮取我的本地服务器。

我今天再次尝试过它只工作了一次但是我又遇到了同样的错误但是我的代码中没有改变任何内容(除了og-tag URL以匹配好的)。我完全不知道为什么...... enter image description here

如果我点击“查看我们的刮刀看到您的网址的确切内容”,则会给我一个空白页。

我的域名在OVH注册,而我的VPS是Kimsufi(也是OVH)。 我在this page看到Facebook不喜欢CNAME DNS记录。这是我的情况,默认我有这个配置:

www IN CNAME jmevel.com.

但OVH经理不允许我将其更改为A记录。我试图删除这条记录,但这不是一个好主意,因为之后jmevel.com暂时无法访问。

我认为这不是DNS问题,因为即使使用ngrock.io将我的本地服务器暴露在线也会出现此问题。

感谢您的回答,我在互联网上找不到任何关于此的新相关信息。

1 个答案:

答案 0 :(得分:0)

这个问题在过去6个月里一直存在,我还在等待答案,但最终得到了解决。我不确定实际修复了什么,所以这里是以后更改的列表:

  • 我从ASP.NET Core RC1升级到RTM
  • 我删除了docker
  • 现在由nginx服务器提供,而不是直接暴露Kestrel
  • 我启用了gzip