spot_img
Homegoogle谷歌SEO排名优化谷歌SEO教程 什么是抓取预算,SEO 应该担心吗?

谷歌SEO教程 什么是抓取预算,SEO 应该担心吗?

JasperAI 10000字免费额度试用

比 Ahref便宜的SEO分析工具 SERanking免费试用注册地址

抓取预算是搜索引擎希望在您的网站上抓取的速度和页面数量。 它受爬虫想要在您的网站上使用的资源量以及您的服务器支持的爬网量的影响。

更多的抓取并不意味着你的排名会更好,但如果你的页面没有被抓取和索引,它们根本不会排名。

大多数网站不需要担心抓取预算,但在少数情况下您可能需要查看一下。 让我们看看其中的一些案例。

谷歌SEO优化服务

您什么时候应该担心抓取预算?

您通常不必担心热门页面上的抓取预算。 通常是较新的页面、未很好链接的页面或变化不大的页面不经常被抓取。

对于较新的网站,尤其是那些页面很多的网站,抓取预算可能是一个问题。 您的服务器可能能够支持更多的抓取,但由于您的站点是新站点并且可能还不是很受欢迎,因此搜索引擎可能不太希望抓取您的站点。 这主要是预期的脱节。 您希望您的网页被抓取并编入索引,但 Google 不知道是否值得为您的网页编制索引,并且可能不想抓取您想要的那么多网页。

对于拥有数百万页面或经常更新的网站的大型网站,抓取预算也可能是一个问题。 一般来说,如果您有很多页面未按您希望的那样经常被抓取或更新,那么您可能需要考虑加快抓取速度。 我们将在本文后面讨论如何做到这一点。

WordPress divi主题

如何检查抓取活动

如果您想查看 Google 抓取活动的概览以及他们发现的任何问题,最好查看 Google Search Console 中的抓取统计报告。

谷歌SEO教程 什么是抓取预算,SEO 应该担心吗?

这里有各种报告可帮助您识别抓取行为的变化、抓取问题,并为您提供有关 Google 如何抓取您网站的更多信息。

您肯定想查看任何已标记的抓取状态,如下所示:

谷歌SEO教程 什么是抓取预算,SEO 应该担心吗?

还有上次抓取页面的时间戳。

谷歌SEO教程 什么是抓取预算,SEO 应该担心吗?

如果您想查看所有机器人和用户的点击,您需要访问您的日志文件。 根据托管和设置,您可以访问 Awstats 和 Webalizer 等工具,如此处所示,在带有 cPanel 的共享主机上。 这些工具显示您的日志文件中的一些聚合数据。

谷歌SEO教程 什么是抓取预算,SEO 应该担心吗?

对于更复杂的设置,您必须访问和存储原始日志文件中的数据,可能来自多个来源。 您可能还需要用于大型项目的专用工具,例如 ELK(elasticsearch、logstash、kibana)堆栈,它允许存储、处理和可视化日志文件。 还有Splunk等日志分析工具。

什么算作抓取预算?

所有 URL 和请求都计入您的抓取预算。 这包括备用 URL,例如 AMP 或 m-dot 页面、hreflang、CSS 和 JavaScript(包括 XHR 请求)。

H10的年终大促

这些 URL 可以通过抓取和解析页面找到,也可以从各种其他来源找到,包括站点地图、RSS 提要、在 Google Search Console 中提交用于索引的 URL 或使用索引 API。

还有多个 Googlebot 共享抓取预算。 您可以在 GSC 的抓取统计报告中找到抓取您网站的各种 Googlebot 的列表。

谷歌SEO教程 什么是抓取预算,SEO 应该担心吗?

谷歌调整他们的抓取方式

每个网站都有不同的抓取预算,由一些不同的输入组成。

抓取需求

抓取需求就是 Google 想要在您的网站上抓取多少。 更多受欢迎的页面和经历重大变化的页面将被更多地抓取。

热门页面或具有更多链接的页面通常会优先于其他页面。 请记住,Google 必须以某种方式优先抓取您的网页,而链接是确定您网站上哪些网页更受欢迎的简单方法。 不过,这不仅仅是您的网站,Google 必须弄清楚如何确定优先级的互联网上所有网站上的所有页面。

您可以使用 最佳链接 在 Site Explorer 中报告以指示哪些页面可能被更频繁地抓取。 它还会显示 Ahrefs 上次抓取您的页面的时间。

谷歌SEO教程 什么是抓取预算,SEO 应该担心吗?

还有一个陈旧的概念。 如果 Google 发现某个页面没有变化,他们就会降低抓取该页面的频率。 例如,如果他们抓取一个页面并在一天后发现没有变化,他们可能会等待三天再抓取,下一次抓取十天,30 天,100 天等。他们在抓取之间等待的时间没有实际设定,但随着时间的推移,它会变得越来越少。 但是,如果 Google 发现整个网站发生重大变化或网站移动,他们通常会提高抓取速度,至少是暂时的。

抓取速率限制

抓取速率限制是您的网站可以支持多少抓取。 在出现服务器稳定性问题(如速度减慢或错误)之前,网站可以进行一定数量的爬行。 如果大多数爬虫开始看到这些问题,它们就会停止爬行,以免损害网站。

高质量外链购买

Google 会根据网站的抓取健康状况进行调整。 如果网站可以进行更多爬行,则限制会增加。 如果该网站有问题,那么谷歌将减慢他们抓取的速度。

我希望 Google 抓取速度更快

您可以采取一些措施来确保您的网站可以支持额外的抓取并增加您网站的抓取需求。 让我们看看其中的一些选项。

加速您的服务器/增加资源

Google 抓取页面的方式基本上是下载资源,然后在其端进行处理。 用户认为您的页面速度并不完全相同。 影响抓取预算的是Google连接和下载资源的速度,这与服务器和资源有更多关系。

JasperAI 10000字免费额度试用

更多链接,外部和内部

请记住,抓取需求通常基于流行度或链接。 您可以通过增加外部链接和/或内部链接的数量来增加预算。 由于您控制网站,因此内部链接更容易。 您可以在 链接机会 Site Audit 中的报告,其中还包括解释其工作原理的教程。

谷歌SEO教程 什么是抓取预算,SEO 应该担心吗?

修复损坏和重定向的链接

保持网站上损坏或重定向页面的链接处于活动状态会对抓取预算产生很小的影响。 通常,此处链接的页面的优先级相当低,因为它们可能有一段时间没有更改,但清理任何问题通常对网站维护有好处,并且会稍微帮助您的抓取预算。

您可以在您的网站上轻松找到损坏的 (4xx) 和重定向的 (3xx) 链接 内页 在现场审核中报告。

谷歌SEO教程 什么是抓取预算,SEO 应该担心吗?

对于站点地图中损坏或重定向的链接,请检查 所有问题 报告“站点地图中的 3XX 重定向”和“站点地图中的 4XX 页面”问题。

尽可能使用 GET 而不是 POST

这个有点技术性,因为它涉及 HTTP 请求方法。 不要在 GET 请求起作用的地方使用 POST 请求。 它基本上是 GET(拉)与 POST(推)。 POST 请求不会被缓存,因此它们会影响爬网预算,但 GET 请求可以被缓存。

使用索引 API

如果您需要更快地抓取网页,请检查您是否有资格使用 Google 的 Indexing API。 目前,这仅适用于少数用例,例如职位发布或实时视频。

Bing 还有一个可供所有人使用的索引 API。

什么行不通

人们有时会尝试做一些实际上对您的抓取预算没有帮助的事情。

  • 网站的小改动。 对页面进行小的更改,例如更新日期、空格或标点符号,希望能更频繁地抓取页面。 Google 非常擅长确定更改是否重要,因此这些小更改不太可能对抓取产生任何影响。
  • robots.txt 中的抓取延迟指令。 该指令会减慢许多机器人的速度。 但是 Googlebot 不使用它,因此不会产生影响。 Ahrefs 确实尊重这一点,因此如果您需要减慢我们的抓取速度,您可以在 robots.txt 文件中添加抓取延迟。
  • 删除第三方脚本。 第三方脚本不计入您的抓取预算,因此删除它们无济于事。
  • 不关注。 好吧,这个是不确定的。 在过去,nofollow 链接不会使用爬网预算。 但是,nofollow 现在被视为一种提示,因此 Google 可能会选择抓取这些链接。

我希望 Google 抓取速度变慢

WordPress花园粉丝福利

想做跨境电商独立站但是没什么钱?可以免费试用Shopline智能建站工具,一个月都不要一顿火锅的钱!(这里就可以在线申请!) 或者扫描下方二维码
shopline

只有几个好方法可以让 Google 抓取速度变慢。 您还可以在技术上进行一些其他调整,例如放慢您的网站速度,但我不推荐这些方法。

调整缓慢,但有保证

谷歌让我们抓取速度变慢的主要控制是谷歌搜索控制台中的速率限制器。 您可以使用该工具降低抓取速度,但最多可能需要两天才能生效。

谷歌SEO教程 什么是抓取预算,SEO 应该担心吗?

快速调整,但有风险

如果您需要更直接的解决方案,您可以利用 Google 与您网站健康状况相关的抓取速度调整。 如果您在页面上为 Googlebot 提供“503 服务不可用”或“429 请求过多”状态代码,它们将开始抓取更慢或可能暂时停止抓取。 不过,您不希望这样做超过几天,否则他们可能会开始从索引中删除页面。

最后的想法

再一次,我想重申,抓取预算不是大多数人需要担心的事情。 如果您确实有顾虑,我希望本指南对您有所帮助。

我通常只在出现页面未被抓取和编入索引的问题时才会调查它,我需要解释为什么有人不应该担心它,或者我碰巧在 Google Search Console 的抓取统计报告中看到一些让我担心的事情.

有问题吗? 让我知道 推特.


比 Ahref便宜的SEO分析工具 SERanking免费试用注册地址
5分钟生成10篇英文软文article forge软件试用

siteground

【WordPress花园提醒您】如果想购买国外正版WordPress主题和插件,您需要一张VISA信用卡才能支付,这里我们推荐光大银行信用卡!赶快免费申请,别耽误了买插件哦!

guangda
WordPress花园官方账号
WordPress花园隶致力于为广大跨境电商和独立站爱好者提供优质的WordPress教程、Woocommerce教程、Facebook、Twitter、tiktok、Instagram教程和谷歌SEO教程等资料和对应的建站推广服务。关注‘哟派出海’公众号了解最新资讯。粉丝福利:Shopline免费独立站建设14天优惠 商务合作: [email protected]
RELATED ARTICLES