AI 审计说缺少 llms.txt,这条提示意味着什么?
先核对审计检查的具体 URL、HTTP 响应和检查目的,再判断缺少 llms.txt 是否属于 AI 搜索问题。
假设一份 AI 审计给你的网站亮出红色提示:“缺少 llms.txt。”在添加文件消除提示之前,先展开检查结果,确认它检查了哪个 URL、用了什么检查项。缺少可选索引、把 HTML 错误页作为成功响应返回,以及服务器故障,需要分别处理。单凭其中任何一项,都无法判断 AI 答案会不会引用你的网站。
先弄清检查项在测什么
保存工具名称和版本、日期、提示原文,以及被检查的 URL。阅读该检查项的文档。我们在 2026 年 11 月 9 日核对来源时,Lighthouse 的 llms.txt 文档说明,服务器错误会被标记,文件不存在且返回 404 时则属于“不适用”。文档将该文件描述为可选。其他工具可能只报告有没有找到文件。红色标签不会改变那次请求实际返回的内容。
对于 Google 的 AI 概览和 AI 模式,Google 表示不需要新的 AI 文本文件。这回答的是 Google 搜索的展示资格问题,并不能说明所有其他助手如何处理索引。决定修什么时,要分清审计标准和平台要求。
查看结果背后的实际响应
打开审计检查的确切 URL。若要在 Chrome 中查看请求,打开网络面板,重新加载该 URL,然后选中对应请求。检查请求方法、重定向后的最终 URL、状态码、响应头和 Response 中的响应正文。单独一次 HEAD 请求或一个 Content-Type 响应头,都不能说明 GET 实际返回了什么。
以虚构文档站 docs.example 为例:它的 /llms.txt 返回 404,但 /docs/llms.txt 返回 Markdown 索引。当前 llms.txt 提案允许把文件放在根路径或子路径,用于覆盖该路径下的页面。只检查根路径的审计并没有查看文档索引。这是检查范围不同,不能据此认定必须在根路径再复制一份文件。调整位置之前,先确认预期使用该文件的客户端会去哪里查找。
再假设 /llms.txt 返回 HTTP 200,正文却是带有网站品牌样式的“页面未找到”HTML 页面。只看状态码的检查可能会把它判为成功。应如实记录:该 URL 返回的是 HTML 错误页,没有返回预期的 Markdown 索引。请负责路由的人排查这个响应。如果实际得到的是首页、登录页或访问验证页面,就记录对应结果;仅凭 text/html 响应头无法区分这些情况。
如果请求返回 500,就记录服务器错误。这不能证明文件不存在。如果返回了可读的 Markdown,还要检查内容和链接。提案要求有项目或网站标题,但只有标题,并不能说明索引描述的是当前网站,或链接指向有用的页面。
确定文件是给谁用的
持续维护的文档索引,可以让读者或智能体更快找到相关材料。OpenAI 为其开发者文档发布了这样的索引。这说明确实存在已发布的索引,并不能证明其他网站也必须这样做,也不能证明 ChatGPT Search 会抓取它们的文件。
如果你有明确会使用该文件的客户端或文档工作流程,就列出它应找到的页面。保持摘要准确,逐个打开链接,确认目标页面仍然有效、可以阅读。这些页面迁移时,把索引也纳入更新流程。小网站同样可能有这样的用途。
如果你的目的只是让 Google 的 AI 功能找到一篇本身就有用的页面,缺少文件的提示并没有确立一项新要求。可以按照内容与技术基础指南,核对页面实际的访问和内容问题。添加索引并不能证明链接指向的页面可以访问,也不能证明页面中的说法已经足够清楚。
用可观察的证据确认修复结果
仍以这个虚构网站为例,假设你修正了 /docs/llms.txt 中一条指向已删除安装指南的链接。重新打开索引,沿修正后的链接访问,确认预期的指南能够加载。使用相同工具版本重跑原来的审计,记录时间,并确认查看的是这次新运行的结果。如果它仍然只检查 /llms.txt,那么即使文档链接已修好,审计结果也可能不变。
完成记录要准确:“文档索引已链接到当前安装指南;根路径文件检查仍报告它自己的结果。”之后日志中出现一条请求,只能说明该记录捕获到的情况,不能证明模型采用了内容。确认引用需要观察到具体答案。这次修改是否改变了引用、访问或转化,在获得对应结果的证据之前,仍然未经验证。