我最近在我的网站上安装了Sphider,这样做很简单,索引页面非常简单,但我遇到了一个小问题。
我的网站上有很多(严重加载)页面,其中很多都没有编入索引。我有一个页面,它接受.csv文件并使用PHP中的foreach循环创建一个表,第一列是每个项目的超链接,带有该项目的专用页面。我的问题出现了,因为Sphider没有索引这些单独的页面,它只索引表页面。我是正确的两个和八个因为我不知道为什么这些页面没有被编入索引。
我检查过我是否有,但我没有,我甚至设置Sphider索引表中的一个随机的单个页面,它出现在搜索中。我会对所有页面执行此操作,但每次获取新项目时都会不断添加新页面,这样我就会被添加到索引列表中的内容所淹没。
我的问题来自:有一些解决方案,我可以有一个脚本,将每个URL添加到Sphider的数据库,看起来似乎使它们出现;或者我是一个完整的div,并且遗漏了一些非常明显的东西,因为.csv PHP表出了问题,可能吗?
我非常感谢你的帮助,因为我很困惑。
谢谢,卡蒂
PS,包含tl的标准是什么;医生?这只适用于Redditors吗? :P
答案 0 :(得分:2)
当我第一次开始使用Sphider Search时,我遇到了类似的问题,当我试图在我的网站上抓住一个文件夹时,例如。 www.mysite.com/myfolder包含900个不同的html页面,只有数据库1链接中的蜘蛛/列表是www.mysite.com/myfolder。
我想出如果它有一个' index.html'那么该sphider将不会占据整个目录。或者' home.html'或者' index.php'在所述文件夹中存档。
所以我暂时删除了我的index.html文件,成功地抓取了所有900个html文件。 然后重新上传我的index.html
如果索引&家庭html文件不是原因,可能是你的Spidering Link深度设置不高。
最后,Sphider搜索尊重rel =" nofollow"标签中的属性,所以它也不会索引所述链接。
希望这有帮助。
答案 1 :(得分:2)
如果您的页面包含少于3个单词,则sphider默认情况下无法索引。你必须改变
/sphider/settings/conf.php
根据您的要求。
$min_words_per_page=0;