# LLMS.txt：AI時代的robots.txt來了，但主要玩家都還在觀望

上個月我在研究一個API文檔網站時，發現了一個有趣的現象。每次我問ChatGPT關於這個服務的具體功能時，它總是給出很模糊的回答，明明官網寫得清清楚楚，AI卻好像怎麼也找不到重點。後來我才知道，這個問題不只我遇到，許多開發者都在困擾同一件事：AI工具在理解網站內容時，經常抓不到最重要的資訊。

直到我看到Jeremy Howard在2024年9月提出的LLMS.txt標準，我才意識到，我們可能正站在一個新時代的起點。


## 從門衛到導遊：為什麼robots.txt已經不夠用了

你知道嗎，robots.txt這個小小的文件已經陪伴我們20多年了。它就像網站的門衛，告訴Google、Bing這些搜尋引擎：「這裡你們不能進，那裡可以看看。」這套機制在搜尋引擎時代運作得很好。

但AI時代不一樣了。

想像一下，假如你是一個聰明但有點急躁的朋友，需要快速了解一個網站在講什麼。robots.txt只能告訴你「禁止進入廚房」，但你真正需要的是「今日推薦菜單在這裡，招牌菜是這道」。這就是LLMS.txt想要解決的問題。

robots.txt是排除法：「不准去這裡」
LLMS.txt是推薦法：「最精華的在這裡」

這個差異看起來很小，但影響很大。當ChatGPT想要回答使用者關於你網站的問題時，它不是像搜尋引擎那樣先索引你的整個網站，而是在推理的當下去找相關資訊。這時候，它更需要的是一張「精華內容地圖」。

## Jeremy Howard的野心：讓AI更懂你的網站

提到Jeremy Howard，你可能知道他是fast.ai的創辦人，也是讓深度學習變得平民化的重要推手。這個人有個特色：喜歡把複雜的技術變得簡單易用。LLMS.txt也不例外。

他在Answer.AI的提案很簡單：在你的網站根目錄放一個LLMS.txt文件，用Markdown格式列出你網站最重要的內容。就像這樣：

# 我的API文件

這個網站提供完整的開發者文檔和API參考。

## 核心功能
- [快速開始指南](/docs/quickstart.md) - 五分鐘上手我們的服務
- [API參考](/docs/api-reference.md) - 完整的API文檔
- [常見問題](/docs/faq.md) - 開發者最常遇到的問題

## 重要概念
- [認證機制](/docs/auth.md) - 如何安全地使用我們的API
- [速率限制](/docs/rate-limits.md) - 理解API使用限制

注意到了嗎？每個連結後面都建議提供.md版本，比如`/docs/quickstart.md`。這樣AI就可以直接讀取乾淨的Markdown內容，而不用費力解析HTML。


但這裡有個關鍵問題：AI工具需要主動支援這個標準，才能發揮作用。

## 理想很美好，現實很骨感

說到這裡，我得告訴你一個有點尷尬的事實：目前幾乎沒有主要AI公司正式採用LLMS.txt標準。

OpenAI？沒有。Google？也沒有。就連Anthropic，雖然他們自己的文檔網站有放LLMS.txt文件，但Claude也沒有官方支援這個標準。Meta就更不用說了。


這讓LLMS.txt陷入了一個尷尬的處境：概念很棒，實作很少。

我花了不少時間研究這個現象，發現了幾個可能的原因：

**AI公司的自主性考量**
大型AI公司通常偏好自己開發解決方案。他們可能正在研究類似的機制，但不一定想採用別人的標準。

**標準競爭問題**
除了LLMS.txt，市面上還有ai.txt、llms-full.txt等其他提案。當存在多個競爭標準時，大公司往往選擇觀望。

**商業模式考量**
坦白說，讓AI更精準地理解網站內容，對AI公司來說不一定是優先項目。他們可能更專注於提升模型本身的能力。

但這不代表LLMS.txt沒有價值。

## 誰在使用？早期採用者的經驗

雖然大型AI公司還沒跟進，但一些開發者工具和文檔網站已經開始實驗LLMS.txt了。

比如Cursor這個AI程式編輯器，他們的網站就有完整的LLMS.txt和llms-full.txt文件。Instructor這個Python庫的文檔網站也採用了這個標準。

我自己也在幾個項目上試過。老實說，直接的效果很難量化，因為主流AI工具都還沒正式支援。但從內容組織的角度來看，創建LLMS.txt的過程確實讓我重新思考了什麼是網站的「精華內容」。

有點像是強迫自己做一次內容盤點：如果AI只能讀10個頁面來了解我的網站，我會選哪10個？

## 該不該現在就實作？我的建議

面對這種「叫好不叫座」的新標準，到底該怎麼辦？我的建議是按網站類型來決定：

### API文檔和開發者工具：值得一試

如果你維護的是API文檔、開發工具或技術產品網站，我認為值得實作LLMS.txt。原因有幾個：

1. 開發者是最有可能使用AI工具來理解你文檔的群體
2. 技術內容通常有明確的層次結構，很適合LLMS.txt的格式
3. 即使現在AI工具不支援，未來支援的機率也比較高

### 一般商業網站：可以觀望

對於一般的商業網站、電商或企業官網，我建議先觀望。投入時間創建LLMS.txt的投資報酬率目前還不明確。

### 個人部落格：看興趣

如果你像我一樣喜歡嘗試新技術，可以把LLMS.txt當作實驗來玩。搞不好哪天就派上用場了。

## 競爭對手們：不只LLMS.txt一家

在討論LLMS.txt的同時，我們也不能忽略其他類似的提案。

**ai.txt** 專注於版權和使用權控制，告訴AI工具哪些內容可以用於訓練或生成回答。

**llms-full.txt** 是LLMS.txt的加強版，直接把所有重要內容串接成一個大文件。

這些標準都在試圖解決AI時代的網站內容管理問題，但方向略有不同。問題是，標準太多反而可能延遲採用速度。

## 未來會怎樣？我的觀察

我覺得LLMS.txt這個概念是對的，但實現的路徑可能會很曲折。

短期來看（2025-2026年），我預期會看到更多競爭標準，可能會有一、兩個脫穎而出。一些小型AI工具或許會率先支援，作為差異化功能。

中期（2027-2029年），如果使用者開始大量創建這些文件，主要AI公司可能會被迫表態。或者，他們可能會推出自己版本的解決方案。

長期來看，我認為某種形式的「AI內容指引」機制會成為網路基礎設施的一部分。但不一定是LLMS.txt這個名字。

## 寫在最後：新時代需要新協議

回到一開始我遇到的問題：AI工具理解網站內容的能力確實需要改善。LLMS.txt提供了一個思路，雖然目前還沒有得到主流支援，但它代表的方向是正確的。

就像20年前robots.txt解決了搜尋引擎時代的問題一樣，AI時代也需要新的協議來管理人類與機器的互動。LLMS.txt可能不是最終答案，但它至少開啟了這個討論。

對於我們這些內容創作者和網站維護者來說，提早了解這些趨勢總是好事。即使LLMS.txt最終沒有被廣泛採用，思考「如何讓AI更好地理解我的內容」這個問題本身就很有價值。

畢竟，AI不會自己消失，而我們的內容遲早需要和AI友好相處。

---

## 參考資料

### 核心文檔與官方資料

1. **Answer.AI Official Proposal** - "/llms.txt—a proposal to provide information to help LLMs use your website at inference time"
[https://www.answer.ai/posts/2024-09-03-llmstxt.html](https://www.answer.ai/posts/2024-09-03-llmstxt.html)

2. **LLMS.txt Official Website** - "The /llms.txt file – llms-txt"
[https://llmstxt.org/](https://llmstxt.org/)

3. **GitHub Repository** - "AnswerDotAI/llms-txt: The /llms.txt file, helping language models use your website"
[https://github.com/AnswerDotAI/llms-txt](https://github.com/AnswerDotAI/llms-txt)

### 行業分析與報導

4. **Search Engine Land** - "Meet llms.txt, a proposed standard for AI website content crawling"
[https://searchengineland.com/llms-txt-proposed-standard-453676](https://searchengineland.com/llms-txt-proposed-standard-453676)

5. **ScaleMath** - "LLMs.txt: The Emerging Standard Reshaping AI-First Content Strategy"
[https://scalemath.com/blog/llms-txt/](https://scalemath.com/blog/llms-txt/)

6. **PPC.Land** - "llms.txt adoption stalls as major AI platforms ignore proposed standard"
[https://ppc.land/llms-txt-adoption-stalls-as-major-ai-platforms-ignore-proposed-standard/](https://ppc.land/llms-txt-adoption-stalls-as-major-ai-platforms-ignore-proposed-standard/)

7. **Overdrive Interactive** - "LLMs.txt: The New Standard for AI Crawling"
[https://www.ovrdrv.com/insights/llms-txt-the-new-standard-for-ai-crawling](https://www.ovrdrv.com/insights/llms-txt-the-new-standard-for-ai-crawling)

### 技術實作與教學

8. **Semrush Blog** - "What Is LLMs.txt & Should You Use It?"
[https://www.semrush.com/blog/llms-txt/](https://www.semrush.com/blog/llms-txt/)

9. **Atlantic BT** - "llms.txt for AI Content Optimization"
[https://www.atlanticbt.com/software-development/llms-txt-for-ai-content-optimization/](https://www.atlanticbt.com/software-development/llms-txt-for-ai-content-optimization/)

10. **Bluehost** - "What Is llms.txt? How the New AI Standard Works (2025 Guide)"
[https://www.bluehost.com/blog/what-is-llms-txt/](https://www.bluehost.com/blog/what-is-llms-txt/)

### 早期採用案例

11. **Instructor Documentation** - "Instructor Adopts llms.txt: Making Documentation AI-Friendly"
[https://python.useinstructor.com/blog/2025/03/19/instructor-adopts-llms-txt/](https://python.useinstructor.com/blog/2025/03/19/instructor-adopts-llms-txt/)

12. **Anthropic Claude Docs** - 實際llms.txt實作範例
[https://docs.anthropic.com/llms.txt](https://docs.anthropic.com/llms.txt)

### 技術比較與分析

13. **Medium - Francisco Kemeny** - "Best Practices for AI-Oriented robots.txt and llms.txt Configuration"
[https://medium.com/@franciscokemeny/best-practices-for-ai-oriented-robots-txt-and-llms-txt-configuration-be564ba5a6bd](https://medium.com/@franciscokemeny/best-practices-for-ai-oriented-robots-txt-and-llms-txt-configuration-be564ba5a6bd)

14. **Medium - Harisudhan** - "llms.txt vs robots.txt"
[https://medium.com/@speaktoharisudhan/llm-txt-vs-robots-txt-bb22c9739434](https://medium.com/@speaktoharisudhan/llm-txt-vs-robots-txt-bb22c9739434)

15. **Originality.ai** - "LLMs.txt Tracking Study and Live Dashboard"
[https://originality.ai/blog/llms-txt-tracking-study](https://originality.ai/blog/llms-txt-tracking-study)

### Jeremy Howard 背景資料

16. **Wikipedia** - "Jeremy Howard (entrepreneur)"
[https://en.wikipedia.org/wiki/Jeremy_Howard_(entrepreneur)](https://en.wikipedia.org/wiki/Jeremy_Howard_(entrepreneur))

17. **Fast.ai Personal Website** - Jeremy Howard的個人網站
[https://jeremy.fast.ai/](https://jeremy.fast.ai/)

---

*本文基於2024年底至2025年初的最新資訊撰寫，所有引用資料均為公開可取得的資源。由於AI領域發展快速，建議讀者關注相關標準的最新發展。*

*文章配圖由Sora AI生成，專為本文技術內容說明而設計。*