我有一个asp.net .aspx页面(比如fruits.aspx页面),其中列出了所有水果(苹果,香蕉,芒果等),其中包含缩略图,标题和链接,每个水果都有相应的详细信息页面。现在,在XSLT和用户控件的帮助下,借助反手代码从XML中检索所有这些数据。
现在由于每个水果详细信息页面的数据和网址在此页面上不是静态存在的,因此不会根据我的知识对其进行爬网和编制索引。
我是否可以采取一种解决方法来对每个水果的详细信息页面进行抓取和编制索引。
如果我的动态网址只有“?var = value”,我可以使用URL重写进行静态/动态转换。但是这里的URL本身并不存在,而是从后面的代码生成的。
答案 0 :(得分:1)
搜索引擎无法看到服务器上的aspx
文件;相反,他们看到了您的Web浏览器所做的相同事情:生成的HTML输出。
这意味着搜索引擎会正确地看到所指的参数。
答案 1 :(得分:0)
那时无法做到。您要编入索引的每个页面都必须具有唯一的URL。生成页面时,只需生成唯一的URL即可。获取查询参数并将其粘贴到脚本名称的末尾。
例如,假设使用?fruit = banana作为查询参数调用fruits.aspx。您最好的选择是生成一个具有唯一静态URL的页面,例如,使香蕉页面的链接看起来像/fruits.aspx/fruit/banana。
更好的方法是重写它以删除.aspx。然后该网站看起来像所有静态内容,这甚至更适合索引。如果URL看起来像是由数据库支持,则搜索引擎不太可能将所有内容编入索引。