GEO 页面被 AI 抓取但不生成摘要该如何解决

结论：页面被 AI 抓取，只代表爬虫拿到了一个 HTTP 响应，不代表它读懂了内容、更不代表它愿意引用。GEO（Generative Engine Optimization，面向生成式引擎的优化）场景下「抓取但不生成摘要」99% 卡在三处：正文没被真正取到、内容里没有可整段摘引的结论句、或者站点层面存在权限与资格门槛。按下面五步逐项排查，基本都能定位。

为什么 AI 抓取了我的页面却不生成摘要？

结论：抓取（crawl）和引用（cite）是两个完全独立的环节，前者只解决「拿得到」，后者要求「读得懂、抽得出、信得过」。

爬虫拿到 HTML 后，会做正文抽取、分块、再判断这段内容能不能独立回答一个具体问题。如果你的页面正文藏在 JS 里、或者通篇是「我们提供优质服务」这类没有信息增量的句子，模型抽不出可用片段，就会跳过你的页面去引用别人。另一个常见原因是权限：Cloudflare 在 2024 年 7 月上线了 Block AI Bots 开关，部分新接入的域名默认开启，GPTBot、ClaudeBot、PerplexityBot 会被直接 403。

第一步：确认 AI 爬虫实际抓到了什么

结论：用日志和裸 curl 验证，不要看浏览器渲染后的效果，浏览器会自动执行 JS，AI 爬虫默认不会。

先查服务器访问日志，抓 AI 相关 UA：

grep -Ei "gptbot|claudebot|perplexitybot|google-extended|bytespider|meta-externalagent" access.log | tail -50

再用同样的 UA 请求一次页面，看返回的 HTML 里有没有正文：

curl -s -A "GPTBot/1.0" https://example.com/your-page | grep -c "<p"

如果 <p> 标签数量为 0，或抽出的正文字节数低于 500 字节，说明内容依赖前端渲染。解决办法是做 SSR（服务端渲染）或 SSG（静态生成），把正文直接写进 HTML。图片里的文字、PDF 内嵌文本、视频字幕，AI 同样取不到。

第二步：检查有没有把 AI 挡在门外

结论：robots.txt、meta 标签、CDN 开关三者任一拦截，抓取就会失败或拿到空壳。

依次检查：

1. curl -s https://你的域名/robots.txt，确认没有 Disallow: / 或针对 GPTBot、ClaudeBot 的单独封禁。
2. 页面 <head> 里是否有 <meta name="robots" content="noai, noimageai">，这两个值会被部分引擎识别为禁止用于训练和摘要。
3. Cloudflare 后台 Security → Bots → Block AI bots 是否开启；开启后需在 WAF 里为上述 UA 加白名单。
4. 页面是否在登录墙、付费墙、验证码之后。需要登录才能看的内容，AI 一律不收录。

第三步：把内容改造成 AI 能直接摘的「答案块」

结论：AI 摘要抽取的是句子级片段，不是整页，所以每一节的第一句必须能独立回答问题。

具体做法：

• 每节首句写成完整结论句，长度控制在 30-60 字，含主语和谓语，不要用「详见下文」这类指代。
• 小标题写成用户会搜索的问句，例如「GEO 和 SEO 有什么区别」，而不是「GEO 概述」。
• 段落控制在 2-4 句，单段不超过 200 字。模型分块时有长度上限，超长段落会被截断。
• 数字、参数、版本、步骤必须写实。例如「首字节时间控制在 1 秒内、HTML 体积压到 100KB 以内」，比「加载要快」可引用性高出一个量级。

第四步：用结构化数据和技术细节给 AI 明确信号

结论：结构化数据不直接决定是否被引用，但它降低了模型理解页面结构的成本，间接提高抽取成功率。

在页面注入 JSON-LD 格式的 Article、FAQPage、HowTo 或 BreadcrumbList，用 Google Rich Results Test 验证是否解析通过。同时保证：正文放在 <article> 或 <main> 内，标题层级从 <h1> 到 <h3> 依次递进不跳级，根目录提供 sitemap.xml 且 lastmod 与实际更新时间一致。

可以额外在根目录放一个 llms.txt，用 Markdown 列出核心页面链接和一句话说明。这是 2024 年提出的社区约定，并非所有引擎都支持，属于加分项而非必需项。

第五步：排查站外资格问题

结论：内容没问题也可能是站点权重不够，AI 摘要倾向引用被多次提及、有第三方背书的来源。

观察指标包括：同一问题下你的品牌是否出现在其他网站、论坛、问答平台。如果全站只有你自己的页面在讲这件事，模型缺少交叉验证信号，引用概率会明显下降。同期在 2-3 个行业站点做一次内容分发或引用，效果通常比在站内改十遍措辞更快。

怎么验证修复是否生效

结论：观察周期按 2-8 周算，不要改完第二天就下判断。

每周导出一次 AI UA 的抓取日志，对比抓取页面数与实际被引用页面数；在 ChatGPT、Perplexity、Google AI Overviews 里直接提问你目标的关键词，连续记录 4 周看你的域名是否出现。日志里 AI 爬虫抓取频次上升但引用仍为零，说明问题在内容可抽取性，回到第三步重写结论句。

总结：AI 抓取是入场券，摘要引用靠的是「能被裸 curl 拿到正文 + 每节首句是完整答案 + 无权限拦截 + 结构化清晰 + 站外有佐证」这五件事同时成立。按第一步到第五步顺序排查，先解决抓取层，再解决内容层，最后解决权重层，不要跳步。