在搜索引擎优化（SEO）的实战中，许多站长常陷入一个误区：认为“收录越多越好”。然而，对于百度和 360 这类注重内容质量与用户体验的引擎而言，盲目追求收录量往往会导致“收录预算”被大量低质页面稀释，最终拖垮核心关键词的排名。真正的 SEO 高手，懂得通过 robots.txt 屏蔽规则与分页逻辑的精细化控制，将有限的爬虫预算集中在高价值页面上。

## 一、理解“收录预算”：不是流量，是配额

百度和 360 的蜘蛛对每个网站的每日抓取频率是有上限的，这被称为“抓取预算”。如果你的网站充斥着大量的无意义参数页、重复的分页尾部或动态生成的死链，蜘蛛会把这些宝贵的配额消耗在这些垃圾内容上，导致新发布的优质文章迟迟无法被收录。

我在实际操作中曾遇到一个典型场景：某电商类站点拥有数万 SKU，但因未处理 URL 中的排序参数（如 `?sort=price_asc`），导致同一商品生成了数十个不同参数的 URL。结果，百度每天只抓取了这些重复页，核心的新品发布页整整两周未被索引。这就是典型的预算浪费。

## 二、Robots.txt 的实战屏蔽艺术

robots.txt 并非简单的“禁止访问”，它是与搜索引擎沟通的导航图。在撰写时，切忌使用过于宽泛的 `Disallow: /`，这会让整个站点的权重归零。

**实操建议：**

1. **屏蔽系统目录**：必须明确屏蔽 `/admin/`、`/login/`、`/temp/` 等后台及临时文件目录。这些页面不仅无 SEO 价值，还可能泄露敏感信息。

2. **过滤动态参数**：针对搜索产生的动态 URL（如 `?s=keyword&page=2`），如果页面内容差异不大，建议在 robots.txt 中屏蔽特定后缀，或在 HTML 标签中配合 `noindex` 使用。

3. **资源文件隔离**：图片、CSS、JS 文件本身不需要被索引，但需要被下载以渲染页面。因此，不要屏蔽 `/assets/` 或 `/images/`，除非你确定这些资源完全不需要被搜索引擎缓存。

**避坑指南**：很多新手喜欢用 `Disallow: /*?*` 一刀切屏蔽所有带问号的链接。这在百度环境下极其危险，因为百度的移动端适配和部分动态内容正是依赖问号参数传递的。正确的做法是只屏蔽特定的、已知的无用参数组合，或者直接在网页头部代码层面对这些页面添加 ``，既允许爬虫抓取链接传递权重，又阻止其进入索引库。

## 三、分页页面的生死博弈

分页（Pagination）是 SEO 中最容易被忽视的“重灾区”。当用户浏览到第 50 页时，页面内容通常已经极度稀疏，甚至出现大量重复的标题和描述。对于百度而言，这种低质分页不仅占用预算，还会引发“内容重复”的惩罚机制。

**独家策略：**

1. **Nofollow 尾部链接**：在第 10 页之后的“下一页”链接上，强制添加 `rel="nofollow"` 属性。告诉蜘蛛：“后面的内容不重要，请停止深入抓取。”

2. **Canonical 标签的正确用法**：确保每一页都指向自身的 canonical，防止蜘蛛混淆。对于内容完全相同的“上一页”和“下一页”切换页，需严格检查其规范标签是否生效。

3. **截断长尾分页**：如果列表页超过 20 页且后续无实质内容更新，建议直接在服务器端配置 410 状态码（永久删除）或 301 重定向至主分类页，彻底切断无效入口。

我曾接手过一个资讯站，首页到第 8 页内容尚可，但从第 9 页开始全是旧闻复现。实施“尾部 Nofollow + 第 10 页后手动合并”策略后，该站的首页及前 5 页收录率在一周内提升了 40%，核心词的排名也随之稳固。

## 四、百度与 360 的特殊性

虽然两者标准趋同，但细节有别。百度更看重内容的“新鲜度”与“唯一性”，对于重复率高的分页容忍度极低；360 则对技术架构的规范性要求更高，若 robots.txt 语法错误或 Canonical 设置混乱，可能导致全站降权。因此，在提交sitemap.xml 时，务必剔除那些已被 robots 屏蔽或标记为 noindex 的链接，保持数据的一致性。

---

### FAQ 高频问答板块

**Q1：Robots.txt 中设置了 Disallow，搜索引擎还能抓取该页面的链接吗？**

A：可以。`Disallow` 指令仅阻止搜索引擎抓取该页面本身的内容，但不会阻止蜘蛛发现并抓取该页面上的出站链接。这意味着权重依然可以通过链接传递给其他页面，但被屏蔽的页面自身不会被收录。如果你希望连链接都不被抓取，需要使用 `noindex` 标签配合 `nofollow` 属性。

**Q2：分页页面的最后一部分没有更多内容了，应该如何处理？**

A：建议采用两种方案之一。第一，在倒数第二页的“下一页”按钮处添加 `rel="nofollow"`，并在最后一页的标题中明确标注“结束”字样，同时对该页添加 `noindex, follow`。第二，如果最后几页内容极少（少于 3 条），直接将这些页面 301 重定向到上一级分类页，避免蜘蛛陷入空转。

**Q3：为什么我的网站加了 Robots 屏蔽，百度依然收录了那些页面？**

A：这种情况通常有两个原因。一是 Robots.txt 存在语法错误（如路径大小写不匹配、缺少斜杠），导致指令失效；二是该页面被外部高质量链接强力推荐，百度出于用户体验考虑，有时会忽略 Robots 指令进行“破例”收录（但这属于极少数情况）。最常见的原因是混淆了 Robots 与 Meta 标签的作用，若页面内部有 `index` 标签，可能会覆盖部分逻辑。建议优先检查 Sitemap 是否包含了这些应被屏蔽的 URL。

**Q4：360 搜索引擎对分页的处理逻辑与百度有何不同？**

A：360 对分页的抓取深度通常比百度浅，它更倾向于抓取前 3-5 页的高质量内容。如果分页结构复杂或存在大量 JS 渲染的动态分页，360 的抓取成功率会显著下降。因此，针对 360 优化时，建议在前 5 页内保证内容的高密度和独特性，并确保分页链接是纯文本锚点而非复杂的 AJAX 加载，以提升爬取效率。

**Q5：如何判断我的网站是否浪费了收录预算？**

A：登录百度站长平台或 360 站长平台，查看“抓取统计”与“死链检测”。如果发现蜘蛛抓取了大量非核心页面（如参数页、测试页），且核心新内容长时间未出现在“收录查询”中，说明预算分配失衡。此时应立即检查 Robots 规则，清理低质分页，并通过 sitemap 主动推送高优内容。