Yandex — 东欧第一搜索门户
用俄语获取信息的首选网站

400-995-5758

yandex@cnyandex.cn

Yandex新闻

您当前的位置:网站首页 > Yandex新闻 > Google蜘蛛抓取和索引网页的频率

Google蜘蛛抓取和索引网页的频率

发布时间:2018-12-26

在一次网站管理员的视频环聊中,网站管理者说:“我们一个网页设置了noindex nofollow,但几个月之后我们仍然可以在谷歌索引中看到它。”


John Mueller这样回答到:


“我认为这里的问题在于谷歌不会始终以相同的频率抓取所有的网址。谷歌会每天抓取一些网址,但有些网址可能每周抓取一次,还有一些网址每隔几个月抓取一次,有的甚至可能半年左右才抓取一次。之所以这样做是为了避免服务器过载。


此外,如果你在网站上进行了重大更改,那么可能大部分更改很快就会被发现,但一般是会有遗留一些更改未被及时发现。


因此,特别当你执行网站查询等操作时,很有可能会看到那些每半年才被抓取一次的网址。几个月了,他们还是老样子。


这是谷歌重新处理、抓取网页的正常时间。因此,这并不一定表明某些事情在技术上有漏洞。如果你仍然认为这些网址根本不应该被编入索引,或许你可以给谷歌提交一个最后修改过站点地图的文件,以便Google能够以其他方式加快检索的速度。”


Google URL检查工具


使用谷歌的URL检查工具,这一点John Mueller没有提到。通过Google站长工具重新提交索引,提交过程可能需要一到两周的时间。URL检查工具适用于需要重新抓取的个别网址,如果有大量网页,Google建议改为提交站点地图。


通过Site Map触发蜘蛛进行新的爬行和抓取


John Mueller建议更新站点地图,让Googlebot发现最近修改日期并将给予提示,以便移除旧网页、触发新的抓取。