第16课：Robots.txt 文件：网站的“门卫”
Robots.txt 文件：为你网站设置“门卫”和“通行规则”
Robots.txt 是一个简单的文本文件，它位于你网站的根目录下（例如 https://www.example.com/robots.txt）。它的作用就像你网站的“门卫”，用来告诉来访的搜索引擎爬虫，哪些URL路径或文件是你不希望它们去访问和抓取的。
为什么需要 Robots.txt？
- 阻止抓取非公开内容：你可能有一些后台登录页面、正在开发的测试页面、或包含敏感信息的文件，不希望它们出现在搜索结果中。
- 节省“抓取预算” (Crawl Budget)：对于大型网站，搜索引擎每天分配给你的抓取资源是有限的。通过阻止爬虫抓取那些不重要、重复或价值不大的页面（如站内搜索结果页、复杂的筛选参数页），你可以引导它们将宝贵的资源集中在抓取你真正想排名的重要页面上。
- 防止服务器过载：过于频繁的抓取可能会给服务器带来压力。
一个非常重要的警告：Robots.txt 只能阻止“行为端正”的爬虫（如Googlebot, Bingbot），它无法阻止恶意爬虫。因此，绝对不要用它来隐藏真正的机密信息。保护敏感数据应使用密码保护等服务器端方法。
Robots.txt 的基本语法
Robots.txt 文件由一系列“规则”组成，每条规则包含两个主要部分：
User-agent：指定这条规则适用于哪个爬虫。Disallow或Allow：指定禁止或允许抓取的URL路径。
常用指令解析
-
User-agent: *
星号*是一个通配符，表示这条规则适用于所有爬虫。这是最常见的用法。 -
User-agent: Googlebot
这条规则只适用于Google的主要爬虫。 -
Disallow: /
一个斜杠/代表网站的根目录。这条指令会禁止所有爬虫抓取你网站的任何内容。这是一个极其危险的设置，除非你刻意想让网站从搜索引擎消失，否则永远不要这样用！ -
Disallow:
Disallow后面留空，表示允许所有爬虫抓取所有内容。这与一个空的robots.txt文件效果相同。 -
Disallow: /private/
禁止爬虫抓取/private/目录及其下的所有文件和子目录。 -
Disallow: /secret-page.html
禁止爬虫抓取/secret-page.html这个特定的文件。 -
Allow: /public/
Allow指令的优先级高于Disallow。它可以用来在被禁止的目录中开一个“特例”。- 例子：禁止抓取
/images/目录，但允许抓取其中的logo.png。User-agent: * Disallow: /images/ Allow: /images/logo.png
- 例子：禁止抓取
-
Sitemap:
这是一个非常推荐添加的指令。它用来告诉搜索引擎你的XML网站地图在哪里。- 例子：
Sitemap: https://www.example.com/sitemap.xml
- 例子：
一个典型的 Robots.txt 文件示例：
User-agent: *
Disallow: /wp-admin/ # 禁止抓取WordPress后台管理目录
Disallow: /search/ # 禁止抓取站内搜索结果页
Disallow: /login.php # 禁止抓取登录页面
Allow: /wp-admin/admin-ajax.php # 允许抓取后台某个必要的文件
Sitemap: https://www.example.com/sitemap.xml
重要提醒：robots.txt 阻止的是抓取，而不是索引。 如果一个被Disallow的页面，仍然有其他网站链接指向它，Google虽然无法抓取其内容，但仍然可能索引这个URL，并在搜索结果中显示“根据 robots.txt 协议，我们无法提供该页面的说明。” 这显然不是理想的效果。要彻底阻止一个页面被索引，我们需要下一个工具。
Meta Robots 标签：更精准的页面级“索引与追踪指令”
与robots.txt管理整个网站的抓取规则不同，Meta Robots 标签是放在特定网页<head>部分的一段代码，它提供了更精细的控制，直接告诉搜索引擎如何处理这一个页面。
为什么需要 Meta Robots 标签？
当你希望某个页面能被爬虫抓取（即 robots.txt 中是允许的），但又不希望它出现在**搜索结果（索引）**中时，Meta Robots 标签就派上用场了。这是最常见也最重要的用途。
HTML代码示例：
<head>
<meta name="robots" content="noindex, follow">
</head>
name="robots"：表示指令适用于所有搜索引擎。你也可以指定给特定爬虫，如name="googlebot"。content="..."：这里是具体的指令内容。
核心指令解析
最常用的指令组合有两个：
-
noindex：告诉搜索引擎：“你可以抓取这个页面，但不要把它收录到你的索引库中，不要让它出现在搜索结果里。”- 应用场景：
- 低质量页面：如自动生成的标签页、作者存档页，这些页面内容通常是重复的摘要。
- 感谢页面：用户提交表单后的“感谢您的提交”页面。
- 内部测试或Staging页面：不应被公开访问的开发中页面。
- 网站政策页面：如隐私政策、服务条款，虽然重要，但通常不是你希望通过搜索流量吸引用户的页面。
- 应用场景：
-
nofollow：告诉搜索引擎：“不要追踪这个页面上的任何链接，也不要传递权重。”- 注意：这里的
nofollow是针对整个页面的所有出站链接，与我们在第12课学到的、针对单个链接的rel="nofollow"作用范围不同。 - 应用场景：很少单独使用。通常用于一些你不信任其链接质量的页面，但更精细的控制是通过
rel="nofollow"实现的。
- 注意：这里的
其他常用指令
index：允许索引（这是默认行为，通常无需添加）。follow：允许追踪页面上的链接（这也是默认行为）。noarchive：阻止搜索引擎显示该页面的“快照”版本。nosnippet：阻止搜索引擎在搜索结果中显示该页面的文本摘要或视频预览。
最实用的组合
-
content="noindex, follow"：
这是最常用的组合。它意味着：“别索引这个页面，但页面上的链接是可信的，请继续追踪它们，并将权重传递出去。” 这对于优化“抓取预算”非常有用，可以确保权重不会在无意义的页面上中断。 -
content="noindex, nofollow"：
意味着：“别索引这个页面，也别信任和追踪页面上的任何链接。” 这是一个非常强烈的“此路不通”信号。
Robots.txt vs. Meta Robots noindex
| 工具 | 作用 | 控制范围 | 效果 |
|---|---|---|---|
| Robots.txt | 阻止抓取 (Block Crawling) | 整个网站、目录、文件 | 爬虫不去访问。如果已有外链，可能仍被索引URL。 |
Meta Robots noindex |
阻止索引 (Prevent Indexing) | 单个页面 | 爬虫会访问，但不会将页面放入搜索结果。是防止页面出现在搜索结果中的标准方法。 |
黄金法则：
- 如果你想阻止一个页面出现在Google搜索结果中，请使用
noindex标签。 - 同时，确保你的
robots.txt文件没有Disallow这个页面，否则Googlebot将无法看到你的noindex指令！
本课小结
- Robots.txt 是网站的“门卫”，通过
Disallow规则阻止爬虫抓取不重要的URL，以节省抓取预算。 - Meta Robots 标签是页面级的“指令牌”，通过
noindex指令阻止页面被索引，是控制内容是否出现在搜索结果中的标准方法。 - 要有效使用
noindex，必须保证该页面未被robots.txt屏蔽。 - 正确运用这两个工具，你可以精确地引导搜索引擎，让它们只关注你网站上最有价值的内容。