LLMs.txt：讓大模型更懂你的 Web 文檔原創精華

發布于 2025-4-11 09:19

瀏覽

0收藏

編者按： 當你向 AI 助手詢問 API 細節時，它是否經常被文檔中的導航欄、樣式表等無關內容干擾，給出模棱兩可的答案？AI 助手已成為開發者不可或缺的得力助手。然而，它們在處理網站內容時往往受限于有限的上下文窗口，加上 HTML 頁面中大量非核心內容的干擾，導致理解效率低下。
本文深入剖析了新興的 LLMs.txt 標準如何巧妙解決這一問題。這個由 ??Answer.AI?? 聯合創始人 Jeremy Howard 提出的解決方案，通過提供優化的 markdown 格式文檔，讓 AI 系統能夠更準確、高效地理解和處理網頁內容。

作者 | Derick Ruiz

編譯 | 岳揚

您可能已經留意到，近期不少開發工具都在其文檔中新增了對 LLMs.txt 的支持。這個擬議中的 Web 標準正快速獲得業界的認可，但它究竟是什么，又為何如此關鍵？

不同于專為搜索引擎設計的 robots.txt 和 sitemap.xml，LLMs.txt 專門針對 LLM 推理引擎進行了優化。它以一種易于 LLM 推理引擎理解的方式，提供了網站的詳細信息。

那么，LLMs.txt 是如何在短時間內從一項提案迅速演變為行業趨勢的呢？

LLMs.txt：讓大模型更懂你的 Web 文檔-AI.x社區

LLMs.txt Explained (Photo by J?rgen Larsen[1] on Unsplash[2])

01 Mintlify 是如何推動 LLMs.txt 普及的

11 月 14 日，Mintlify 在其文檔平臺增加了對 LLMs.txt 的支持。這一動作，使得平臺上數千個開發工具的文檔一夜之間對 LLMs 變得友好，包括 Anthropic 和 Cursor 等。

Anthropic 和其他工具很快就在 X 上宣布了他們對 LLMs.txt 的支持。隨后，越來越多的由 Mintlify 托管的文檔開始采用這一標準，為 LLMs.txt 的提議創造了一波知名度。

這種趨勢激發了社區網站和工具的涌現。@ifox 建立了 directory.llmstxt.cloud[3]，用于索引對 LLMs 友好的技術文檔。@screenfluent 也很快跟進，推出了 llmstxt.directory[4]。

dotenvx 的開發者 Mot，為其文檔網站制作了一個開源生成工具[5]，并將其分享出來。而 Firecrawl 的 Eric Ciarla 則開發了一個工具[6]，能夠抓取網站內容并自動生成 LLMs.txt 文件。

LLMs.txt：讓大模型更懂你的 Web 文檔-AI.x社區

Anthropic 公司 Claude Relations 部門的負責人 Alex Albert，在 X 上宣布了對 LLMs.txt 的支持

02 LLMs.txt 由誰提出，其目的是什么？

??Answer.AI?? 的聯合創始人 Jeremy Howard 提出 LLMs.txt 是為了解決一個具體的技術難題。

人工智能系統在處理信息時，只能依靠有限的上下文窗口，這導致它們在理解龐大的文檔庫時會遇到困難。傳統的 SEO 優化技術主要是針對搜索引擎的爬蟲設計的，而不是針對 LLM 推理引擎，因此它們無法解決這一限制。

當人工智能系統直接處理 HTML 頁面時，常常會被頁面中的導航欄、JavaScript 腳本、CSS 樣式表等非內容性信息所干擾，這些元素占用了原本可以展示有用內容的空間。

LLMs.txt 的出現，恰好解決了這一問題，它以一種 AI 能夠輕松解讀的格式，提供了 AI 所需的準確信息。

LLMs.txt：讓大模型更懂你的 Web 文檔-AI.x社區

Jeremy Howard 在 X 的個人資料，他是 LLMs.txt Web 標準提案的發起者

03 LLMs.txt文件到底是什么？

LLMs.txt 是一種格式嚴謹的 markdown 文檔。其規范明確了兩種不同的文件類型：

/llms.txt：這是一個簡化版的文檔導航視圖，旨在幫助 AI 系統迅速把握網站的框架結構。
/llms-full.txt：這是一個集成了所有文檔的完整文件，方便集中查閱。

3.1 /llms.txt

在這個文件中，開頭需使用 H1 格式標注項目名稱，并緊接著一個 blockquote 格式的摘要。文件的后續部分通過 H2 標題來整理文檔鏈接。還有一個“Optional”部分，專門用來標注那些相對不那么重要的資源。

LLMs.txt：讓大模型更懂你的 Web 文檔-AI.x社區

有關的簡單示例，可以參考 ??llmtxt.org?? 自家的 LLM.txt 文件[7]。而如果想看一個詳細且包含多種語言的例子，可以查閱 Anthropic 提供的文件[8]。

3.2 /llms-full.txt

與 /llms.txt 僅提供導航視圖和文檔結構不同，/llms-full.txt 包含了全部的文檔內容，這些內容都是用 markdown 編寫的。

LLMs.txt：讓大模型更懂你的 Web 文檔-AI.x社區

上圖的內容摘錄是來自于 Cursor 的 /llms-full.txt 文件。如需查看完整文件，請訪問 Cursor 的官方文檔頁面。

04 LLMs.txt vs sitemap.xml vs robots.txt

LLMs.txt 文件的功能與 sitemap.xml 和 robots.txt 等現行 Web 標準有著本質的區別。

/sitemap.xml 雖然列出了所有可供索引的頁面，但對于內容處理并無助益。AI 系統在處理時，仍需解析復雜的 HTML，并處理冗余信息，從而使上下文窗口變得雜亂無章。

/robots.txt 文件則用于指導搜索引擎爬蟲的訪問，但它同樣不提供內容理解上的幫助。

而 /llms.txt 則專為解決 AI 系統面臨的挑戰而設計。它有助于克服上下文窗口的限制，刪除不必要的 tokens 和腳本，并以優化后的結構來展示內容，便于人工智能處理。

05 如何將 LLMs.txt 應用于AI系統

與那些主動在網絡中進行搜尋的搜索引擎不同，現有的 LLMs 并不會自動識別并收錄 LLMs.txt 文件。

您需要手動將文件內容輸入到 AI 系統中。操作方法包括粘貼鏈接、直接將文件內容貼入輸入框，或者利用 AI 工具的文件上傳功能。

5.1 ChatGPT

首先，您需要前往相關文檔或 /llms-full.txt 的網頁地址。接著，將內容或網址復制到聊天界面，提出具體問題，說明你想完成什么。

LLMs.txt：讓大模型更懂你的 Web 文檔-AI.x社區

在 ChatGPT 中使用 llms-full.txt 文件的截圖（圖片由作者提供）

5.2 Claude

Claude 目前還不能瀏覽網頁，所以請將文檔的 /llms-full.txt 文件內容復制到剪貼板。或者，也可以將其保存為 .txt 文件并上傳。現在，你就可以自信地提出任何問題，確信 Claude 擁有完整且最新的上下文信息。

LLMs.txt：讓大模型更懂你的 Web 文檔-AI.x社區

在 Claude 中使用 llms-full.txt 文件的截圖（圖片由作者提供）

5.3 Cursor

Cursor 可以讓我們添加并索引外部文檔，這樣就能在對話中引用這些內容。操作方法很簡單，只需輸入 @Docs > Add new doc。隨后會出現一個彈窗，我們可以在那里粘貼 /llms-full.txt 文件的鏈接。之后，就能像使用其他文檔一樣，將其作為對話的上下文。

想深入了解這項功能，可以查閱 Cursor 的 @Docs 功能介紹[9]。

LLMs.txt：讓大模型更懂你的 Web 文檔-AI.x社區

將 llms-full.txt 文件作為上下文導入 Cursor 的操作截圖（圖片由作者提供）

06 如何生成 LLMs.txt 文件

我們可以選用以下幾種工具來生成自己的 LLMs.txt 文件：

Mintlify[10]：能夠自動為在線文檔生成 /llms.txt 和 /llms-full.txt。
llmstxt by dotenv[5]：由 dotenvx 的開發者 Mot 提供的工具，它可以通過網站的 sitemap.xml 來生成 llms.txt。
llmstxt by Firecrawl[6]：由 Firecrawl 的創始人 Eric Ciarla 開發的工具，它利用 Firecrawl 抓取網站信息來制作 llms.txt 文件。