🤖llms.txt 创建

什么是 llms.txt

llms.txt 是一个文本文件，用于向 AI 爬虫传达网站的要点和希望被阅读的主要页面，应放置在网站根目录下的 /llms.txt。格式为 Markdown，按顺序列出网站名称、摘要和主要页面列表。

• 网站名称和摘要：首行使用"#"标记网站名称，其后用">"开头放置一行摘要，这是基本格式。
• 段落和链接：用"##"开头的标题对页面分组，其下按顺序列出页面名称、URL 和一行说明。
• Optional 段落：名为 Optional 的段落是一个可选区域，用于整理 AI 可以跳过的辅助页面。

与其他指引文件的区别

• robots.txt：robots.txt 是用于允许或拒绝爬虫爬取的文件，不包含要让爬虫阅读的内容本身。
• sitemap.xml：sitemap.xml 是以机器可读形式列举网站 URL 的文件，不包含各页面的要点或优先级说明。
• llms-full.txt：llms-full.txt 是将页面正文整合到一个文件中的完整版本，与列出链接的 llms.txt 不同。

被认为无意义的原因

llms.txt 是 2024 年提出的新规范，由于公开支持此规范的 AI 服务目前有限，即使设置也难以衡量效果。网站运营者可根据自身策略选择提前设置以期待普及，或者等观察支持情况再做决定。