我的SPA网站（基于Node / Express / Mongo / Angular X）启动并运行。我创建了一个sitemap.xml并提交给了Microsoft Bing，从服务器日志中，我看到他们开始抓取。但是，我注意到调用了页面URL，但没有调用该页面的关联API。所以，基本上它只是索引每个页面的静态骨架，而不是动态真实内容。
我用谷歌搜索并看到人们说“谷歌无法索引动态内容”，如article所述。但是，我也看到其他人说爬虫只是一个浏览的人，它应该得到它的动态内容。
我很困惑。有人可以澄清一下吗？怎么解决？
答案 0 :(得分：-2)
网络抓取工具不会执行JavaScript。谷歌可能有一个更复杂的爬虫，但大多数没有。对于数万亿页面来说，它只是计算密集型。为要跟踪的抓取工具添加静态链接。见https://stackoverflow.com/a/28075506/148844
Bing不会为JavaScript生成的内容编制索引。
https://www.bing.com/webmaster/help/webmaster-guidelines-30fba23a
网站技术 您网站上使用的技术有时可能会阻止Bingbot找到您的内容。富媒体（Flash，JavaScript等）可能导致Bing无法通过导航进行抓取，或者看不到嵌入在网页中的内容。为了避免任何问题，您应该考虑实现一个低级体验，其中包含与您的富版本相同的内容元素和链接。这将允许任何没有启用富媒体的人（Bingbot）查看您的网站并与之互动。
富媒体警告 - 不要将链接隐藏到JavaScript内的内容
富媒体警告 - 请勿在Javascript / flash / Silverlight中隐藏链接;同时保留内容
低级体验增强了可发现性 - 避免在Flash或JavaScript中容纳内容 - 这些块抓取工具可以找到内容