如何用 rel=canonical 和 meta robots 优化 HTML 页面索引？

用 rel="canonical" 解决重复内容的权重分散，用 meta robots 决定页面能不能进索引，两者分工不同、不能互相替代：canonical 是给搜索引擎的"合并建议"，meta robots 的 noindex 是"不要收录"的硬指令，同一页面上混用这两个信号，最可能的结果是页面既不收录、也传不出权重。

rel="canonical" 和 meta robots 有什么区别？

结论：canonical 管的是"多个 URL 指向同一内容时，哪个算正主"，meta robots 管的是"这个页面要不要被抓取后放进索引"，前者是 hint（提示信号，Google 可忽略），后者是 directive（指令，Google 必须执行）。

canonical 解决的是 URL 层面的重复：?utm_source= 参数页、http 与 https、带不带结尾斜杠、分页、打印版，都是同一份内容的不同地址。它告诉搜索引擎"权重请归到这一个 URL"。

meta robots 解决的是页面层面的收录资格：noindex 的页面即使被抓取也不会出现在搜索结果里。两者层级不同，一个处理地址，一个处理资格。

rel=canonical 正确的写法是什么？

结论：canonical 必须写成含协议和域名的绝对 URL，且每页只能出现一个，指向的地址必须返回 200 状态码。

标准写法是放在 <head> 里：

<link rel="canonical" href="https://example.com/page/">

三条硬性要求：一是用绝对 URL，写 /page/ 这种相对路径虽然 Google 能解析，但跨域、CDN、多域名场景下容易出错；二是每页只有一个 canonical，出现两个及以上，Google 会全部忽略；三是目标页必须自身可索引，如果目标页带着 noindex，这个 canonical 等于把权重送进黑洞。

分页场景要特别注意：第 2、3 页不要 canonical 到第 1 页，那会让 Google 认为后几页内容是重复的从而不收录。正确做法是每页 canonical 到自身，或用 rel="next" / rel="prev"（Google 已不再将其作为索引信号，仅作参考）。

meta robots 有哪些常用指令，怎么写？

结论：index/noindex 和 follow/nofollow 是最核心的两组指令，写法是 <meta name="robots" content="...">，放在 <head> 内。

常见组合：

<!-- 不收录，但保留链接权重传递 -->
<meta name="robots" content="noindex, follow">

<!-- 收录，但页面上的链接不传递权重 -->
<meta name="robots" content="index, nofollow">

<!-- 针对单个爬虫生效，其余爬虫按默认走 -->
<meta name="googlebot" content="noindex">

其他可用值包括 noarchive（不提供网页快照）、nosnippet（不展示摘要）、max-snippet:160（限制摘要字符数）、max-image-preview:large（允许大图预览）、noimageindex（不索引图片）、unavailable_after（指定时间后不再展示）。

对于 PDF、图片等非 HTML 文件，meta 标签写不进去，改用 HTTP 响应头 X-Robots-Tag: noindex，效果等价。

noindex 和 canonical 能同时用吗？

结论：不要在同一页面上同时使用 noindex 和指向其他 URL 的 canonical，这是最容易踩的坑。

原因在于两个信号的优先级：Google 会优先执行 noindex，页面不进索引；同时因为页面没被索引，canonical 想做的权重合并也无从谈起。结果是页面既没收录、权重也没转移。

正确判断路径只有两条：想保留页面给用户访问、但不进搜索索引 → 只加 noindex；想合并重复页面权重 → 只用 canonical，页面上不要出现 noindex。

四个高频错误和验证方法

结论：canonical 指向 301/404 页面、用 robots.txt 屏蔽却指望 noindex 生效、noindex 页面被别的页 canonical 指向、分页全指向首页，是排查中最常见的四类问题。

其中第 2 条要记牢：robots.txt 的 Disallow 只是禁止抓取，爬虫读不到页面上的 noindex，所以被 Disallow 的页面仍可能因外部链接被收录。要禁止收录，必须让爬虫抓到页面并读到 noindex，两者不能混用。

验证方式有三步：一是在 Google Search Console 用"网址检查"工具查看"Google 选择的规范网址"和"能否编入索引"；二是在"页面编入索引"报告里看"已排除"的原因分类；三是用 curl -I https://example.com/page/ 查看响应头和状态码，确认没有意外的 X-Robots-Tag。

总结：canonical 负责在多个地址间挑出唯一正主，meta robots 负责决定页面的收录资格，二者各管一层、通常不叠加使用。记住三条底线——canonical 用绝对 URL 且目标返回 200、noindex 页面不给别人当 canonical 目标、禁收录要用 noindex 而不是 robots.txt——页面索引问题就解决了大半。