预计Googlebot抓取会随着CDN的更改而增加

2020-02-26

每当您对网站的某些内容进行重大更改时,很自然地,您会看到Google的爬网量发生了重大变化,但网站上确实发生了变化。这是完全正常的并且是预期的。

当您将站点切换到CDN时也是如此。但是,如果您删除CDN或进行其他更改,则完成后,您还将在网站上看到相同类型的Googlebot活动。

Google的John Mueller通过推特证实了这一点。

爬网活动的增加仅仅是因为Google正在使用CDN的添加,删除或更改来重新索引这些页面。站点所有者在将站点移动或切换到HTTPS或对该站点进行其他重大更改时,也会看到相同的爬网活动。

话虽如此,网站所有者应该担心爬网的增加,如果爬网的增加会引起服务器问题,例如Google,但由于很难对网站进行爬网而导致服务器关闭。尽管这种情况很不常见,但是这种情况确实可能发生,特别是如果网站上有某些东西创建了无限的URL。因此,如果您对网站进行了重大更改,期望爬网活动有所增加,但是没有对网站进行任何相关更改,则有时它可以突出显示Googlebot遇到的问题,例如从网站上的日历中抓取的一百万个页面或参数狂野。

--- END ---