谷歌SEO入门指南2018年版（一）：Google抓取

谷歌SEO入门指南2018年版（一）：Google抓取

1.前言

如果您通过 Google 搜索运营、管理或推广在线内容，或通过在线内容获利，则本指南对您适用。如果您是业务快速发展的商家、拥有十几个网站的网站站长、网络代理方面的 SEO 专家，或者是对搜索机制具有强烈兴趣的 DIY SEO 达人，则本指南也适用于您。如果您有兴趣根据我们的最佳做法对 SEO 基础知识进行全面了解，那么本指南同样适用于您。本指南不会提供任何可让您的网站在 Google 中自动排位第一的秘诀（抱歉！），但是如果您遵循下面列出的最佳做法，则有望让搜索引擎更容易抓取、理解您的内容并将其编入索引。

搜索引擎优化 (SEO) 通常是指对网站的各个部分进行细微的修改。单独来看，这些修改可能只是逐步细微的改进，但与其他优化结合起来后，则可能会对您的网站在自然搜索结果中的用户体验和效果产生显著影响。您可能早已熟悉本指南中的许多主题，因为它们是任何网页的基本要素，但您可能并未充分利用它们。

您应该对网站进行优化，以满足用户需求。您的其中一个用户便是搜索引擎，它可以帮助其他用户发现您的内容。搜索引擎优化是指帮助搜索引擎了解和呈现内容。您的网站可能比我们的示例网站更简单或更复杂，并且呈现的内容可能截然不同，但我们下面讨论的优化主题对于所有大小和类型的网站均适用。我们希望本指南在如何改进网站方面能够给您带来一些全新的理念，同时也希望您在 Google 网站站长帮助论坛1积极分享您的问题、反馈和成功案例。

2.相关术语

以下简要术语表包含了本指南中使用的重要术语：

• 索引 - Google 会将其知悉的所有网页存储在其“索引”中。每个网页的索引条目描述了该网页的内容和位置（网址）。编入索引是指当 Google 抓取、读取网页并将其添加到索引的过程。例如：Google 今天已将我网站上的几个网页编入索引。
• 抓取 - 寻找新增网页或已更新网页的过程。Google 会通过跟踪链接、读取站点地图或其他各种方式来发现网址。Google 通过抓取网页来寻找新增网页，然后（在适当的时候）将网页编入索引。
• 抓取工具 - 从网络中抓取（提取）网页并将网页编入索引的自动化软件。
• Googlebot - Google 抓取工具的通用名称。Googlebot 会持续不断地抓取网页。
• SEO - 搜索引擎优化：使您的网站更易于搜索引擎抓取和编入索引的过程。也可指从事搜索引擎优化的人的职位名称，例如：我们刚刚聘请了新的 SEO 来提升我们在网络上的曝光度。

3.您的网站是否已被 Google 搜索引擎收录？

可在 Google 搜索引擎中对您的网站的首页网址执行“site:”搜索。如果您能看到结果，则表明您的网站在索引中。如“site:wikipedia.org”。

虽然 Google 可抓取数十亿网页的内容，但遗漏部分网站也在所难免。所以如果你的网站未被收录，可能是以下原因导致的：

• 网站未与网络上的其他网站紧密关联
• 您刚刚推出新的网站，Google 还没来得及抓取它
• 网站的设计致使 Google 很难有效抓取其中的内容
• Google 在尝试抓取网站时遇到问题
• 您的政策阻止 Google 抓取网站

4.如何让我的网站显示在 Google 搜索结果中？

让网站纳入 Google 搜索结果完全免费，且操作简单，甚至不需要向 Google 提交网站。Google 是一个全自动搜索引擎，它使用网页抓取工具持续抓取网页，以便查找可添加到 Google 索引中的网站。实际上，显示在 Google 搜索结果中的大多数网站都不是手动提交供纳入索引的，而是 Google 在抓取网页时找到并自动添加的。了解 Google 如何发现、抓取和呈现网页。

我们提供了网站站长指南，以帮助网站站长构建方便 Google 处理的网站。虽然我们无法保证我们的抓取工具一定能够找到某个特定网站，但遵循这些指南应该可以使您的网站显示在我们的搜索结果中。

Google Search Console 提供了一系列工具，以协助您向 Google 提交内容，并监测您的网站/移动应用在 Google 搜索结果中的曝光度。如果您愿意，当 Google 在抓取您网站的过程中发现任何严重问题时，Search Console 甚至可以向您发送提醒。注册 Search Console5。

首先您需要问自己以下几个有关您的网站的基本问题。

• 我的网站是否会显示在 Google 搜索结果中？
• 我是否为用户提供了高品质的网站内容？
• 我的本地商家是否会显示在 Google 搜索结果中？
• 我的网站内容是否能让使用各种设备的用户轻松快速地找到？
• 我的网站是否安全？

您可以在 http://g.co/webmasters6 上找到其他入门信息

5.帮助 Google 发现您的内容

要让网站显示在 Google 搜索结果中，首要步骤便是确保 Google 能够找到它。最好的办法是提交站点地图。站点地图是网站上的一种文件，可告知搜索引擎网站上新增了网页或有更新的网页。详细了解如何构建和提交站点地图。

Google 还会通过其他网页上的链接找到网页。

6.让 Google 知道不应抓取哪些页面

最佳做法

若为非敏感信息，则可以使用 robots.txt 阻止不必要的抓取

“robots.txt”文件会告诉搜索引擎它们是否可以访问您网站的各个部分并执行抓取。此文件必须命名为“robots.txt”，且应位于网站的根目录下。被 robots.txt 阻止的网页也可能会被抓取，因此您应使用更安全的方法保护敏感网页。

您可能不希望网站的某些页面被抓取，因为这些页面显示在搜索引擎的搜索结果中可能对用户无用。如果您希望阻止搜索引擎抓取您的网页，Google Search Console 可提供便捷的 robots.txt 生成器帮助您创建此文件。请注意，如果您的网站使用了子域名，并且您希望 Google 不要抓取特定子域名上的某些网页，那么您必须为该子域名单独创建一个 robots.txt 文件。

应避免的做法：

• 不要让 Google 抓取内部搜索结果页。用户不喜欢点击搜索引擎结果后却登录到您网站上的其他搜索结果页。
• 允许抓取由代理服务器创建的网址。

若为敏感信息，则请使用更安全的方法

要阻止用户访问敏感或机密信息，Robots.txt 并不是一个适当或有效的方式。它只会告知运行良好的抓取工具不要抓取相应网页，却不会阻止您的服务器将这些网页发送给请求它们的浏览器。其中一个原因是：如果互联网上的某处（例如引荐来源网址日志）恰好存在指向这些被禁止访问的网址的链接，那么搜索引擎仍然能够引用这些网址（仅显示网址，但不显示标题或摘要）。此外，未同意遵守《漫游器排除标准》的不合规搜索引擎或流氓搜索引擎可能会违反您的 robots.txt 文件中的指令。最后，用户可能会出于好奇查看您的 robots.txt 文件中的目录或子目录，并猜测您不想被看见的内容的网址。

在这些情况下，如果您只是希望网页不显示在 Google 中，则可使用 noindex 标记，无需担心任何用户会通过链接访问该网页。然而，为了做到真正的安全，您应该使用合适的授权方法（例如需要用户密码才能访问）或将网页从网站上彻底移除。