逻辑:为加快新产品和新页面的索引编制速度以及重新定义页面上的更改,减少托管负载,您需要进行调整以提供服务器标题MODIFIED_SINCE。
错误::当文档更新日期是请求页面时的当前时间时,我遇到了很多代码示例。根本上是错误的,因为最终您会欺骗自己,并迫使搜索引擎在爬网页面上花费更多,而搜索引擎为重新索引分配了限制。
答案 0 :(得分:0)
不明显::此标头一次出现在变量中。 $ _SERVER ['HTTP_IF_MODIFIED_SINCE'] 如果页面请求再次发生,它将不在变量中。容易错过。小心点!
1。 首先,为了让服务器提供这些标头,您需要配置config(nginx:if_modified_since精确)。 http://nginx.org/ru/docs/http/ngx_http_core_module.html#if_modified_since
重新加载服务器。
2。。PHP位于index.php的顶部
import os
import win32file
import win32con
import shutil
ACTION = {1:"Created"}
FILE_LIST_DIRECTORY = 0x0001
source=raw_input("enter source file path:")
dest=raw_input("enter dest file path:")
path_to_watch = "."
hDir = win32file.CreateFile (
source,
FILE_LIST_DIRECTORY,
win32con.FILE_SHARE_READ | win32con.FILE_SHARE_WRITE |
win32con.FILE_SHARE_DELETE,
None,
win32con.OPEN_EXISTING,
win32con.FILE_FLAG_BACKUP_SEMANTICS,
None
)
while 1:
results = win32file.ReadDirectoryChangesW (
hDir,
1024,
True,
win32con.FILE_NOTIFY_CHANGE_FILE_NAME |
win32con.FILE_NOTIFY_CHANGE_DIR_NAME |
win32con.FILE_NOTIFY_CHANGE_ATTRIBUTES |
win32con.FILE_NOTIFY_CHANGE_SIZE |
win32con.FILE_NOTIFY_CHANGE_LAST_WRITE |
win32con.FILE_NOTIFY_CHANGE_SECURITY,
None,
None
)
for action, file in results:
if action in ACTION:
full_filename = os.path.join (path_to_watch, file)
typee = full_filename.split(".")[len(full_filename.split("."))-1]
print typee
if typee=="jpg":
print source+full_filename
shutil.move(source+full_filename,dest)
print full_filename, action
3。标头检查器服务:https://last-modified.com
请记住重要的一点:引入后,搜索引擎会正确爬网,但与此同时,未更改的页面也会因搜索引擎而老化。但是您将肯定会很快考虑到新内容和更新内容。
在淋浴店https://www.remontbistro.ru工作,它具有正确的标题。如果某人不了解某些内容,请输入提示。
我们一直在寻找如何正确实施有关设置标题的搜索引擎建议。在不同的地方点点发现。如果没有明确的算法,则安装过程需要1天。