昨天我根据以下示例为自己的网站制作了一个php网站地图:https://www.youtube.com/watch?v=M4j_m4DyiPg
它使用与数据库的mysqli连接。该站点地图中大约有40,000个URL。昨晚我没有发现任何问题,但是今天该站点已关闭3次。我在专用服务器上,有足够的空间和资源,但是我想知道新站点地图是否与服务器宕机有关。我联系了我的托管服务提供商,他们说他们没有任何停机时间或问题。发生故障时,我的网站给我500错误。我有两个问题:
站点地图是否会被垃圾邮件机器人过度爬网,进而使服务器不堪重负?
在涉及站点地图时,是否可以从数据库中获取超过4万个URL?
喜欢听听您的宝贵意见。