谷歌SEO教程 什么是可抓取性？ • 适合初学者的 SEO • Yoast

在搜索引擎中排名需要一个具有完美技术 SEO 和出色相关内容的网站。 幸运的是，Yoast SEO 插件（几乎）处理了您 WordPress 网站上的所有内容。 尽管如此，如果您真的想充分利用您的网站并在竞争中保持领先，那么技术 SEO 的一些基本知识是必须的。 在这篇文章中，我们将解释技术 SEO 最重要的概念之一：可抓取性。

又是什么爬虫？

像 Google 这样的搜索引擎由爬虫、索引和算法组成。 爬虫跟随链接。 当 Google 的爬虫（也称为 Googlebot）找到您的网站时，它会呈现、读取它并将内容保存在索引中。

爬虫跟踪网络上的链接。 爬虫也称为机器人、机器人或蜘蛛。 它在互联网上 24/7 全天候运行。 一旦涉及到一个网站，它会将 HTML 版本保存在一个称为索引的巨大数据库中。 每当爬虫绕过您的网站并找到它的新版本或修订版本时，该索引都会更新。 根据 Google 对您网站的重要性以及您在网站上所做的更改次数，爬虫或多或少会出现。

阅读更多： SEO 基础：谷歌做什么 »

什么是可抓取性？

可抓取性与 Google 抓取您的网站的可能性有关。 您可以在您的网站上阻止爬虫。 有几种方法可以阻止爬虫访问您的网站。 如果您的网站或您网站上的某个页面被阻止，您就是在对 Google 的抓取工具说：“不要来这里。” 在大多数情况下，您的网站或相应页面不会出现在搜索结果中。

有几件事可能会阻止 Google 抓取（或编制索引）您的网站：

• 如果您的 robots.txt 文件阻止了抓取工具，Google 将不会访问您的网站或特定网页。
• 在抓取您的网站之前，抓取工具会查看您网页的 HTTP 标头。 此 HTTP 标头包含一个状态代码。 如果此状态代码表明页面不存在，Google 将不会抓取您的网站。 在我们的技术 SEO 培训的关于 HTTP 标头的模块中，我们将告诉您所有相关信息。
• 如果特定页面上的漫游器元标记阻止搜索引擎将该页面编入索引，Google 将抓取该页面，但不会将其添加到其索引中。

此流程图可能会帮助您了解尝试索引页面时机器人遵循的流程：

使用 Yoast SEO Premium 提高网站的可抓取性

我们已经说过很多次了，可抓取性是 SEO 的一个重要方面。 因此，优化网站的可抓取性是您应该做的事情。 使用 Yoast SEO Premium 等工具可以帮助您更轻松地完成此操作。

爬虫每天可能会多次访问您的网站。 有时他们会访问您的网站以发现新内容，有时他们会过来检查是否有任何新更新。 但是每次他们到达您的网站时，他们肯定会爬 对他们来说看起来像 URL 的所有内容。 因此，一个 URL 很可能每天被抓取多次。

这不是事情应该的样子。 在大多数情况下，您不太可能在某一天对 URL 进行多次更改。 更不用说，几乎每个 CMS 输出的 URL 没有意义，爬虫可以安全地跳过。 但是，爬虫不会跳过这些 URL，而是会一次又一次地抓取它们，每次遇到一个。 所有这些不必要的爬行都会占用能源，这对我们的星球来说是一种有害的做法。

这就是为什么在 Yoast SEO Premium 18.6 中，我们在爬网设置中引入了第一个新增功能，让您可以更好地管理搜索引擎可以在您的网站上跳过的内容。 在此部分（仍处于测试阶段）中，您可以找到许多开关，这些开关可让您关闭 WordPress 自动添加到您的网站的各种功能，大多数网站都不会错过这些功能。 在 Yoast SEO Premium 18.7 中，我们扩展了您可以切换的设置列表，我们将在 Yoast SEO Premium 的未来版本中继续这样做。

想了解有关可抓取性的所有信息吗？

尽管可抓取性只是技术 SEO 的基础（它与使 Google 能够为您的网站编制索引的所有事情有关），但对于大多数人来说，它已经是相当先进的东西了。 然而，如果你正在阻止 – 甚至可能不知道！ – 来自您网站的爬虫，您永远不会在 Google 中排名靠前。 所以，如果你对 SEO 很认真，这对你来说应该很重要。

如果您真的想了解可抓取性的所有技术方面，您应该查看我们的技术 SEO 培训。 本 SEO 课程将教您如何检测技术 SEO 问题并解决它们（使用我们的 Yoast SEO 插件）。 Yoast SEO 学院免费包含在您的高级订阅中。

继续阅读：什么是技术 SEO：每个人都应该知道的 8 个方面 »