搜索引擎通过使用称为Spider的机器人爬网来工作。这些网络爬虫有效地跟踪页面之间的链接，以查找要添加到搜索索引中的新内容。使用搜索引擎时，将从索引中提取相关结果并使用算法对它们进行排名。如果听起来很复杂，那是因为事实如此。但是如果您想在搜索引擎中排名更高以使您的网站获得更多点击量，则需要对搜索引擎如何查找，索引和排名内容有基本的了解。这就是您将在本指南中学习的内容。
第1章 搜索引擎基础
在介绍技术之前，首先要确保我们了解搜索引擎的真正含义，它们为什么存在及其为何如此重要。
什么是搜索引擎？
搜索引擎是用于查找和排名与用户搜索查询匹配的网页内容的工具。
每个搜索引擎都包含两个主要部分：
- 搜索索引。有关网页信息的数字图书馆。
- 搜索算法。对来自搜索索引的匹配结果进行排名的程序。
热门搜索引擎的示例包括百度，搜狗和360。
搜索引擎的目标是什么？
每个搜索引擎都旨在为用户提供最佳，最相关的结果。至少从理论上讲，这就是他们获取或维持市场份额的方式。
搜索引擎如何赚钱？
搜索引擎具有两种类型的搜索结果：
- 搜索索引的自然结果。在这里你不用花钱。
- 广告客户的付费结果。您可以付费买排名。
每次有人点击付费搜索结果时，广告客户都会向搜索引擎付费。这就是所谓的按点击付费广告。这就是为什么市场份额很重要。更多的用户意味着更多的广告点击和更多的收入。
您为什么要关心搜索引擎的工作方式？
了解搜索引擎如何查找内容，对内容进行索引和对内容进行排名将有助于您在自然搜索结果中为相关关键字和热门关键字对网站进行排名。如果您可以在这些查询中排名靠前，那么您的内容将获得更多点击和自然流量。
哪个是最受欢迎的搜索引擎？
从全球范围来看，无疑是谷歌，它拥有92％的市场份额。从国内范围来看就是百度了，它拥有68.77%的市场份额。国内的话百度是大多数SEO专业人员和网站所有者最关心的搜索引擎，因为与其他任何搜索引擎相比，百度都有可能以更多的方式获得流量。
第2章 搜索引擎如何建立索引
最著名的搜索引擎，例如百度和谷歌，其搜索索引中有数万亿个页面。因此在讨论排名算法之前，让我们更深入地研究用于构建和维护网页索引的机制。
这是基本流程：
让我们按步骤进行分解：
- 网址
- 爬行
- 处理与渲染
- 索引编制
以下过程专门适用于百度，但对于其他网络搜索引擎（如360）来说，可能非常相似。还有其他类型的搜索引擎，例如360，搜狗和今日头条，它们仅显示其网站的结果。
步骤1. url
一切都始于已知的URL列表。百度通过各种过程发现了这些，但是最常见的三种是：
从反向链接
百度已经有一个包含数万亿个网页的索引。如果某人从这些网页之一添加到您的网页之一的链接，他们可以从那里找到链接。您可以使用带有Ahrefs网站管理员工具的Site Explorer免费查看网站的反向链接。
- 免费注册Ahrefs网站管理员工具帐户
- 将您的域粘贴到Site Explorer中
- 转到“反向链接” 报告。
这个抓取工具是仅次于搜索引擎的抓取工具，因此您应该在此处看到相当完整的反向链接视图。
从站点地图
站点地图列出了您网站上的所有重要页面。如果您将站点地图提交给百度，则可以帮助他们更快地找到您的网站。
来自URL提交
百度还允许通过百度资源平台提交单个URL。
步骤2.爬网
爬网是称为蜘蛛的计算机机器人（例如baiduspider）访问并下载发现的页面的地方。
重要的是要注意，百度并不总是按照发现页面的顺序对其进行爬网。
百度会根据以下几个因素对要抓取的URL进行排队，其中包括：
- URL的权重
- URL多久更改一次
- 是否是新的
这很重要，因为这意味着搜索引擎可能会在某些页面之前对其他页面进行爬网和索引。如果您的网站很大，搜索引擎可能需要一段时间才能完全抓取它。
步骤3.处理
百度会在处理过程中了解并从抓取的页面中提取关键信息。百度以外的人都不知道有关此过程的所有细节，但是我们理解的重要部分是提取链接和存储内容以进行索引。
百度必须渲染页面以对其进行完全处理，而百度会在该页面上运行页面的代码以了解其对用户的外观。也就是说，在渲染之前和之后都会进行一些处理。
步骤4.编制索引
索引是将爬网页面中的已处理信息添加到称为搜索索引的大型数据库中的位置。本质上，这是一个由数万亿个网页组成的数字图书馆，百度的搜索结果来自于此。
这是重要的一点。当您在搜索引擎中键入查询时，您并不会直接在互联网上搜索匹配的结果。您正在搜索搜索引擎的网页索引。如果网页不在搜索索引中，则搜索引擎用户将找不到它。这就是为什么让您的网站在主要搜索引擎（例如百度）中建立索引如此重要的原因。
第3章 搜索引擎如何对网页进行排名
发现，爬网和索引内容仅仅是难题的第一部分。搜索引擎还需要一种在用户执行搜索时对匹配结果进行排名的方法。这是搜索引擎算法的工作。
每个搜索引擎都有用于对网页进行排名的独特算法。但是，由于百度是迄今为止使用最广泛的搜索引擎（至少在国内），因此在本指南的其余部分中，我们将重点关注该引擎。
