动态创建的链接未显示在搜索结果中

Question

我的网站上有网页，例如：

import qualified Pipes.Text.Encoding as PTE
import qualified Pipes.ByteString as PB

withFile "file.csv" ReadMode $ \h -> do
  let transcode = PTE.decodeIso8859_1 . PB.fromHandle ~> PTE.encodeUtf8
  runEffect $ decodeByName (void . transcode $ h) >-> process

登录页面和关于页面的内容都会被Google编入索引并显示，但最后两页却没有。用户页面和帖子页面是动态创建的，因此根据输入的数量，显示不同的用户/帖子。当搜索引擎抓取页面时，这会有所不同吗？

我的robots.txt允许对这些网址编制索引，但我的sitemap.xml不能包含用户和帖子页面，因为网址中的值不是常量，例如用户页面网址可以是/sign-in /about /user/1203 /1203/post/19298 或/user/324。

有没有理由说明这些网页没有被编入索引？感谢。

Answer 1

他们最终会被编入索引，以确保更快发生，如果可能的话，通过名称来命名你的帖子，例如example.com/post/what-wonderful-day而不是example.com/posts/123也去google网站管理员工具，并使用谷歌蜘蛛提取，然后提交您的帖子或用户URL，它将快速索引。注意：每月允许500次提交，否则你只需要等待。