目錄
網站公開發表文章,不代表同意內容被拿去訓練 AI。2026 年 10 月 30 日,OpenAI、Google、Microsoft 與 Anthropic 支持一項新的 AI 訓練退出機制,讓網站經營者未來有機會透過 robots.txt 的共用規則,向多家 AI 公司表達不願提供內容作為模型訓練資料的意願。
過去,若希望文章繼續出現在 Google 搜尋結果,卻不想被 OpenAI 或 Anthropic 拿去訓練模型,就得分別研究各家公司的爬蟲規則,再逐一設定 GPTBot、ClaudeBot 或 Google-Extended。新提案希望簡化這個過程,讓網站能使用共同的政策代號管理 AI 訓練偏好,同時保留針對個別服務商調整的空間。
不過,這套共用機制目前仍在標準制定及平台導入階段,並非所有 AI 公司都已正式支援。 更需要留意的是,AI 模型訓練、搜尋引擎收錄,以及 AI 回答引用網站內容,分別涉及不同的技術與使用政策。拒絕訓練不一定會失去搜尋流量,但各平台提供的控制方式確實存在差異。
本文資訊更新至 2026 年 11 月 4 日,以下從 IETF 草案、robots.txt 設定方式,以及 OpenAI、Google、Microsoft 和 Anthropic 的現行政策切入,說明網站目前有哪些選擇。
AI 訓練退出機制是什麼?2026 年為何推出共用規則?
AI 訓練退出機制(AI Training Opt-out)是網站用來表達內容使用偏好的方式,主要目的是告知 AI 服務商,網站上的公開資料是否可以被用來訓練生成式 AI 模型。過去這類設定多由個別公司提供,2026 年的新提案則希望建立跨平台共用的格式,減少網站必須為不同 AI 公司維護多組規則的情況。
2026 年 10 月 30 日,Anthropic 的 Kevin Kelley 向網際網路工程任務組織(IETF)提交一份名為 Machine-Readable Training Preference Signal 的文件,提出以 robots.txt 既有語法表達 AI 訓練偏好的方法。這份提案與 IETF AI Preferences(AIPREF)工作小組正在討論的內容使用政策有關,OpenAI、Google 與 Microsoft 也在同一天宣布支持共用訓練偏好的方向。
目前該文件的狀態仍是 Internet-Draft,也就是網際網路草案。雖然標示預計朝正式標準推進,但尚未取得 IETF 核准,各服務商也需要時間完成技術整合。因此,2026 年 10 月的公告應理解為業界開始採用共同機制的計畫,不能直接視為一套已經全面生效的新規定。
傳統 robots.txt 為什麼無法完整管理 AI 訓練?
robots.txt 原本用來管理網站爬蟲,透過 User-agent、Allow 和 Disallow 等指令,告訴自動化程式哪些路徑可以抓取、哪些路徑不希望被存取。搜尋引擎長期使用這套機制,網站也可以藉此調整 Googlebot、Bingbot 等程式的抓取範圍。
但網頁被抓取之後,資料可能有不同用途。Google 可以建立搜尋索引,讓文章出現在一般搜尋結果;ChatGPT 或 Claude 可能在回答問題時讀取網頁,提供帶有來源的回答;模型開發公司則可能將公開文章納入資料集,用於後續生成式 AI 模型訓練。
這幾種行為都可能接觸同一篇文章,對網站經營者而言卻有不同意義。例如,公開的旅遊攻略可能希望透過搜尋引擎吸引讀者,卻不希望全文成為模型訓練素材。單純使用 robots.txt 封鎖某個爬蟲,未必能精準表達這種需求,尤其部分服務商可能共用網頁擷取流程,資料取得後再依不同產品用途處理。
新提案因此把「允許程式抓取網站」與「允許內容用於 AI 訓練」分開管理。原有爬蟲規則仍然存在,新的政策訊號則負責描述取得內容後的使用偏好。
IETF 如何定義 AI Training?
IETF 草案對 AI Training 的定義相對明確,指的是使用數位內容修改生成式 AI 模型已經學得的參數。這與模型在回答問題時即時參考網頁資料不同,也不等於搜尋引擎建立索引或排序搜尋結果的過程。
例如,AI 搜尋服務在回答問題時讀取一篇公開文章,並將其中資訊整理成附有來源的回覆,通常屬於 Grounding 或其他搜尋相關用途;若文章被納入資料集,進一步用來調整生成式模型的參數,才屬於草案所定義的 AI Training。
此外,這項定義不涵蓋專門用於分類、排序或評分等非生成式任務的模型訓練,即使底層模型本身也具備生成能力,仍可能不在這項政策範圍內。
這些界線會直接影響退出機制的適用範圍。網站透過新規則拒絕 AI Training,主要是在表達不希望內容用於生成式模型訓練,並沒有同時禁止所有 AI 搜尋、摘要或即時引用行為。
robots.txt 如何設定 AI 訓練退出?__usage_ai-training 用法解析
這次 IETF 草案提出的共用政策代號為 __usage_ai-training,使用方式與傳統 robots.txt 相近。網站可以把它放在 User-agent 欄位,再透過 Allow 或 Disallow 指定適用路徑,無須另外建立新的 robots.txt 指令。
假設整個網站都不希望公開內容被拿去訓練生成式 AI,可以加入以下設定:
User-agent: __usage_ai-training
Disallow: /
這段規則代表網站針對所有路徑表達拒絕 AI 訓練的偏好。支援這項政策的服務商讀取 robots.txt 後,便能依照草案定義判斷網站的選擇。
若只希望開放特定資料夾,例如提供媒體使用的 /press-kit/,也可以保留例外:
User-agent: __usage_ai-training
Disallow: /
Allow: /press-kit/
由於草案沿用既有的 robots.txt 路徑匹配規則,較具體的 /press-kit/ 可以優先於整站的 /,表示該資料夾的內容允許用於 AI 訓練,其他路徑則維持拒絕偏好。
共用政策代號和封鎖 AI 爬蟲有什麼不同?
雖然 __usage_ai-training 寫在 User-agent 欄位,但它並不是一個實際執行網站抓取的爬蟲名稱,而是代表特定內容用途的政策代號。這也是它與 GPTBot、ClaudeBot 或 Googlebot 最主要的差異。
當網站設定 User-agent: GPTBot 並禁止抓取時,目的是限制 GPTBot 對相關路徑的存取;設定 __usage_ai-training 則是在表達內容不應用於生成式 AI 訓練,並不要求服務商一定停止發送網頁請求。
換句話說,即使服務商仍然抓取網站,也可能遵守新政策,不將相關內容用於模型訓練。反過來說,沒有支援這項政策的爬蟲,也不會因為網站新增代號就自動改變行為。
草案還規定,一般的 User-agent: * 不應被解讀為符合 __usage_ai-training。因此,網站既有的通用爬蟲規則,不代表已經透過新機制明確表達 AI 訓練偏好;如果完全沒有設定該政策代號,則屬於沒有透過這項機制表達偏好。
個別服務商也可以保留自己的專用規則。當共用政策與 Google-Extended 等既有設定不同時,業者可以依公開說明決定優先順序,這部分仍需分別查看各公司的實作方式,不能假設所有平台都採用相同判斷。
拒絕 AI 訓練會影響 Google 搜尋或 ChatGPT 流量嗎?
網站拒絕 AI 訓練,不一定會因此失去傳統搜尋流量。真正需要區分的是,搜尋引擎收錄、生成式模型訓練和 AI Grounding 屬於不同的內容用途,而各家公司提供的控制選項不完全相同。
傳統搜尋主要透過網頁索引與排名,讓使用者找到相關網站;AI Grounding 則是在生成回答時參考外部資料,提高回答的時效性與相關性。至於 AI 模型訓練,通常涉及將資料納入訓練流程,用來調整模型未來產生內容的能力。
同一篇文章可以同時參與多種用途,但網站未必願意全部開放。以下整理目前較常見的內容使用方式,以及設定時需要注意的差異。
| 內容使用方式 | 主要用途 | 網站可能受到的影響 | 常見控制方式 |
| 傳統搜尋索引 | 建立搜尋索引、顯示搜尋結果 | Google、Bing 搜尋曝光 | Googlebot、Bingbot |
| AI 模型訓練 | 使用資料調整生成式模型參數 | 內容可能進入模型訓練流程 | GPTBot、ClaudeBot、AI Training 偏好 |
| AI Grounding | 在生成回答時參考外部資料 | 內容可能被 AI 回答引用 | 各平台 Grounding 控制 |
| AI 搜尋 | 整理搜尋資訊並提供來源連結 | ChatGPT、Claude 等搜尋曝光 | OAI-SearchBot、Claude-SearchBot |
| 使用者主動存取 | AI 助理依照要求開啟網頁 | 影響 AI 工具能否讀取指定內容 | 網站權限及各平台存取政策 |
Google 搜尋的 AI Overviews 和 Gemini Grounding 是同一件事嗎?
Google 搜尋中的 AI Overviews(AI 摘要)與 AI Mode,是 Google 搜尋產品的一部分,主要透過既有的搜尋索引和相關網頁資訊產生回答。網站若希望控制內容在這些搜尋功能中的顯示方式,仍需參考 Googlebot 的抓取規則,以及 nosnippet、max-snippet、noindex 等搜尋預覽控制。
Gemini Apps 的 Grounding 則涉及不同的產品用途。Google 提供的 Google-Extended,除了管理部分 Gemini 模型訓練,也涵蓋 Gemini Apps 及 Vertex AI 相關服務的部分 Grounding 使用。
因此,網站即使允許 Googlebot,也不代表必須允許 Google-Extended;拒絕 Google-Extended 雖然不會直接影響傳統 Google 搜尋收錄與排名,卻可能影響部分 Gemini 產品使用內容作為回答依據的資格。
這種差異對依靠自然搜尋流量的網站相當實際。設定前最好先確認希望保留哪些曝光來源,再決定要限制的內容用途,而不是看到 AI 相關名稱就全部加入封鎖清單。
OpenAI、Google、Microsoft、Anthropic 的 AI 訓練退出政策比較
2026 年 10 月 30 日,多家 AI 公司相繼支持共用 AI 訓練偏好,但各平台原本就有不同的網站控制機制,新的共用訊號也不是同一天全面生效。現階段仍應以各家正式提供的設定方式為基礎,再追蹤後續導入進度。
OpenAI:GPTBot 負責訓練抓取,OAI-SearchBot 用於 ChatGPT 搜尋
OpenAI 將不同用途的網頁擷取程式分開管理,其中 GPTBot 用於取得可能被納入生成式 AI 基礎模型訓練的內容,OAI-SearchBot 則協助 ChatGPT 搜尋功能取得網頁資料。兩者可以分別設定,因此網站能拒絕訓練用途的抓取,同時保留被 ChatGPT 搜尋找到的機會。
例如,網站希望阻止 GPTBot 抓取公開文章,卻仍允許 OAI-SearchBot 存取,可以在 robots.txt 設定:
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
依照 OpenAI 的官方說明,拒絕 GPTBot 代表網站表達不希望相關內容用於 OpenAI 生成式 AI 基礎模型訓練的意願;允許 OAI-SearchBot 則讓網站保留進入 ChatGPT 搜尋結果的資格,但不保證一定被引用或帶來流量。
OpenAI 另有 ChatGPT-User,主要用於使用者主動要求 ChatGPT 讀取網頁的情境。這類存取與一般自動化搜尋抓取不同,因此 robots.txt 規則未必適用,不能直接把 ChatGPT-User 視為 GPTBot 或 OAI-SearchBot 的替代品。
至於共用訓練偏好,OpenAI 在 2026 年 10 月 30 日宣布計畫於未來數月完成實作,當時尚未公布確切生效日期。官方也表示,新的共同訊號不會取代既有爬蟲控制,因此目前已經使用 GPTBot 規則的網站,沒有必要急著刪除原本設定。
Google:Google-Extended 同時管理部分訓練與 Grounding 用途
Google 自 2023 年起提供 Google-Extended,讓網站選擇是否允許其內容用於部分 Gemini 模型訓練及 Grounding。這個名稱雖然可以寫在 robots.txt 的 User-agent 欄位,但它本身不是獨立執行 HTTP 請求的爬蟲,而是控制 Google 如何使用已取得內容的政策代號。
如果希望拒絕 Google-Extended 涵蓋的用途,可以使用:
User-agent: Google-Extended
Disallow: /
Google 官方明確指出,這項設定不影響網站在一般 Google 搜尋中的收錄資格,也不是搜尋排名訊號。不過,由於 Google-Extended 同時涵蓋 Gemini Apps 與部分 Vertex AI Grounding 用途,網站拒絕後,相關內容也可能失去被這些產品引用的機會。
這與 OpenAI 可以分別設定 GPTBot 和 OAI-SearchBot 的情況不同。若網站希望拒絕模型訓練,卻仍允許 Gemini Grounding,Google-Extended 目前沒有提供完全獨立的兩個開關,設定時需要連同產品引用資格一起評估。
Google 已宣布預計在 2027 年初支援共用 AI 訓練偏好。按照目前公布的計畫,若網站透過 __usage_ai-training 表達拒絕訓練,且沒有明確指定 Google-Extended,Google 將把這項共同訊號視為拒絕 Google-Extended。
反過來說,網站也可以另外明確指定 Google-Extended,但這會涉及該服務所涵蓋的訓練與 Grounding 用途,不能單純理解成只開放 AI 回答引用。
Microsoft:AI Training 與 AI Grounding 可以獨立控制
Microsoft 這次公布的政策,除了支援共用 AI Training 偏好,也另外提供 AI Grounding 的頁面層級控制,讓網站能分別決定內容是否可用於生成式模型訓練,以及是否可用於支援 AI 生成回答。
AI Training 可以透過 robots.txt 管理整個網站或特定路徑,也能針對單一頁面設定;AI Grounding 則採頁面層級的控制方式,提供 Allow、DisallowExtended 和 Disallow 三種選項。
其中,Allow 代表允許內容用於 Grounding;Disallow 則表示拒絕這項用途。DisallowExtended 介於兩者之間,允許 Microsoft 自有產品使用內容作為回答依據,但限制 Microsoft 向第三方提供的 Grounding 服務使用。
若網站只想禁止某篇文章用於 AI 訓練,可以在 HTML 的 <head> 加入:
若希望拒絕該頁面被用於 AI Grounding,則可以使用:
這兩項設定可以獨立使用,也可以依需求搭配。Microsoft 同時支援對應的 HTTP 回應標頭,因此不一定只能直接修改 HTML。
Microsoft 預計自 2027 年 2 月 1 日起,隨著網站重新抓取而逐步採用新偏好。原本使用 NoArchive 或 NoCache 管理 AI 用途的網站,則需要在 2027 年 3 月 1 日前完成轉換,否則舊設定將不再作為訓練與 Grounding 偏好的判斷依據。
如果網站原本透過 NoArchive 或 NoCache 限制 Grounding,除了新增頁面設定,符合條件者還需要依照 Microsoft 的過渡安排,在 Bing Webmaster Tools 記錄臨時偏好。這項功能預計於 2026 年 12 月 15 日開放,主要是避免網站尚未重新抓取時,原本的限制突然失效。
Microsoft 也說明,新設定不改變網站參與一般 Bing 搜尋的資格,但若拒絕 Grounding,內容出現在相關 AI 回答中的機會可能減少。是否獲得引用、流量或授權報酬,則不會因為允許某項用途而獲得保證。
Anthropic:ClaudeBot、Claude-SearchBot 與 Claude-User 用途不同
Anthropic 目前使用不同的爬蟲處理模型訓練、搜尋及使用者主動存取。ClaudeBot 負責取得可能用於模型訓練的網頁內容,Claude-SearchBot 用於改善 Claude 的搜尋結果,而 Claude-User 則在使用者要求 Claude 存取特定網站時發揮作用。
如果網站只想拒絕模型訓練用途的抓取,仍希望保留 Claude 搜尋曝光,可以設定:
User-agent: ClaudeBot
Disallow: /
User-agent: Claude-SearchBot
Allow: /
依照 Anthropic 的官方文件,限制 ClaudeBot 代表網站希望後續相關內容排除在模型訓練資料集之外;限制 Claude-SearchBot 則可能影響內容在 Claude 搜尋結果中的可見度。
Claude-User 的用途又有所不同,主要與使用者主動要求取得網頁資料有關,因此是否限制這類存取,需要依網站對 AI 助理讀取內容的態度另外判斷。
這次共用 AI 訓練偏好草案由 Anthropic 人員提交,也代表 Anthropic 參與了相關標準討論。不過,草案提出與平台完成全面部署仍是兩個不同階段。對已經希望阻止 ClaudeBot 抓取內容的網站而言,現有的 robots.txt 設定仍應保留,後續再依 Anthropic 公布的實際支援方式調整。
共用 AI 訓練退出機制能完全阻止內容被 AI 使用嗎?
即使多家 AI 公司開始採用共同政策,robots.txt 仍然不是強制性的安全防護措施。它是一份公開的機器可讀設定,主要用來傳達網站經營者的偏好,實際效果取決於服務商是否支援、如何解讀,以及是否願意遵守。
對已經承諾遵守政策的公司而言,這項機制可以減少網站與平台之間的設定落差;但沒有參與共同機制的業者、刻意忽略 robots.txt 的自動化程式,或透過其他管道取得資料的第三方,都不會因為網站新增一組政策代號就受到技術上的全面阻擋。
另外,新的設定主要管理後續內容使用偏好,並不具備撤回既有訓練資料的功能。文章過去若已經被抓取、加入資料集,甚至用於模型訓練,網站現在修改 robots.txt,也不代表先前的資料會自動被刪除,或已經訓練完成的模型會立即排除相關影響。
robots.txt 和著作權授權有什麼差別?
公開網站的內容通常仍可能受到著作權法保護,但文章是否可以被第三方用於模型訓練,涉及不同司法管轄區的法律、例外規定、授權合約與具體使用方式,不能單靠 robots.txt 判定所有行為是否合法。
AI 訓練退出訊號主要提供技術上的偏好表達,並沒有建立跨平台的付費授權制度,也沒有規定所有業者必須因為使用公開內容而支付報酬。
IETF 草案還提到,個別服務商的專有政策或私人協議可能影響共用偏好的實際解讀。例如,出版商與 AI 公司已經簽訂內容授權合約時,雙方的合約條件可能需要另外處理,無法只看公開 robots.txt 就判斷完整授權範圍。
因此,對靠文章流量、專業研究或內容授權維持收入的網站而言,共用退出機制是一項可以使用的管理工具,但不能取代著作權聲明、授權管理或必要的法律程序。
未公開資料為什麼不能只靠 robots.txt 保護?
robots.txt 本身是公開檔案,任何人都可以開啟網站根目錄下的 /robots.txt 查看規則。若把內部文件、未公開報價或會員資料的路徑直接列在檔案中,反而可能讓外部知道這些網址存在。
更重要的是,Disallow 不會對網頁設定登入限制。只要伺服器仍允許未經驗證的訪客存取,即使 robots.txt 寫明禁止抓取,資料仍可能被直接開啟。
未公開內容應透過登入驗證、伺服器權限或其他適當的安全機制保護。公開網站的 AI 訓練偏好,與內部文件的存取控制需要分開處理,不能互相替代。
WordPress、Astro 與 Notion 如何管理 AI 訓練退出設定?
對使用 WordPress、Astro 或其他網站架構發布文章的創作者而言,現階段不需要急著把所有 AI 爬蟲全部封鎖。比較實際的做法,是先確認希望哪些內容維持搜尋曝光,再決定是否允許模型訓練,以及是否開放 AI 搜尋服務引用。
如果網站主要依靠公開教學文章、旅遊攻略或產品評測取得搜尋流量,通常會希望保留 Google、Bing 或 ChatGPT 搜尋的曝光機會。相較之下,付費教材、會員專屬內容或具有商業授權限制的資料,可能需要採用不同的存取政策。
這些選擇可以依網站整體規則管理,也可以在技術允許的範圍內細分到資料夾或單一頁面,不一定要對所有內容採取相同設定。
WordPress 和 Astro 應該在哪裡修改 robots.txt?
WordPress 網站可能透過 SEO 外掛、伺服器實體檔案或 WordPress 自動產生的虛擬 robots.txt 提供規則,因此修改前需要先確認目前網站實際使用哪一種方式。若同時存在外掛設定與實體檔案,還需要留意它們是否互相覆蓋。
Astro 等靜態網站通常可以把 robots.txt 放在專案的 public 目錄,建置與部署後便會出現在網站根目錄。不過,若網站使用 CDN、反向代理或不同部署環境,仍可能發生檔案快取、規則覆蓋或新版本尚未正式發布的情況。
無論採用哪一種架站方式,修改完成後都應直接開啟公開網址確認,例如 https://example.com/robots.txt,而不是只檢查後台或原始碼。
此外,主網域與子網域通常各自管理 robots.txt。假設文章分別發布在主網站及另一個子網域,兩邊的設定需要分別確認,不能認為主網站已經設定完成,其他子網域就會自動套用相同規則。
使用 Notion 管理文章時,如何記錄 AI 內容使用偏好?
若文章平時先在 Notion 整理,再透過自動化流程發布到網站,可以建立一份簡單的內容使用紀錄,將文章公開狀態、訓練偏好及授權資訊放在同一個資料庫管理。
| Notion 欄位 | 建議記錄內容 |
| Article Title | 文章標題 |
| Published URL | 正式公開網址 |
| Content Type | 公開文章、免費教材、會員內容等 |
| AI Training | 允許或拒絕模型訓練 |
| AI Grounding | 是否開放 AI 回答引用 |
| Licensing | 是否存在第三方授權 |
| Last Reviewed | 最後檢查日期 |
| Owner | 負責維護的人員 |
這份資料庫主要負責管理決策,修改 Notion 欄位本身不會自動更新網站的 robots.txt。如果網站已有 GitHub、Cloudflare 或其他自動部署流程,可以另外規劃如何把相關設定納入發布程序,但必須確認實際生成的檔案與文章權限一致。
尤其當網站同時管理公開文章與付費內容時,最好避免直接依照單一 Notion 欄位大量改寫網站規則,至少應保留部署前檢查與發布後驗證,以免錯誤設定影響整站搜尋。
修改 AI 爬蟲設定後,如何確認是否生效?
robots.txt 更新後,可以透過伺服器日誌、CDN 分析或其他存取紀錄觀察相關爬蟲的活動。若需要確認請求是否來自特定公司,還應參考官方公布的 IP 範圍或驗證方式,單靠 User-agent 名稱並不足以完全辨識來源。
但新的 AI 訓練偏好本來就不一定要求爬蟲停止存取,因此即使日誌仍然出現相關請求,也不能直接推定服務商違反了內容使用政策。抓取紀錄只能協助觀察網站存取情況,無法完整證明資料是否被納入模型訓練。
搜尋曝光則可以透過 Google Search Console、Bing Webmaster Tools 等工具持續追蹤。如果修改後發現網站收錄、曝光或點擊量出現異常,應先檢查是否誤封鎖 Googlebot、Bingbot 等搜尋爬蟲,再評估其他可能原因。搜尋流量本來就會受到排名、需求與競爭變化影響,不能把所有波動都歸因於 AI 退出設定。
AI 訓練退出新規何時生效?2027 年有哪些時程需要注意?
截至 2026 年 11 月 4 日,各家公司仍在分別安排共用政策的導入進度,並沒有統一的正式生效日期。OpenAI 表示預計在未來數月內實作,Google 則計畫於 2027 年初支援;Microsoft 已公布較明確的設定轉換時程。
對一般網站而言,可以先使用現有的 GPTBot、ClaudeBot 或 Google-Extended 規則,等各平台正式支援共用訊號後,再重新檢查是否需要調整。
至於原本使用 Microsoft NoArchive 或 NoCache 限制 AI 用途的網站,應特別留意下列時間:
| 日期 | 預定事項 |
| 2026 年 12 月 15 日 | Microsoft 開放符合條件網站設定臨時 Grounding 過渡偏好 |
| 2027 年 2 月 1 日 | Microsoft 開始隨抓取採用新版 AI Training 與 AI Grounding 偏好 |
| 2027 年 3 月 1 日 | Microsoft 舊有 NoArchive、NoCache AI 用途偏好的轉換期限 |
| 2027 年 5 月 3 日 | 目前 IETF 草案預定到期日 |
| 2027 年 9 月 30 日 | Microsoft 臨時 Grounding 過渡偏好的最晚到期日 |
其中,IETF 草案的到期日並不代表新標準一定會在當天正式成立。Internet-Draft 可以修訂、更新或由後續版本取代,相關政策是否成為正式標準,仍要依 IETF 後續進度判斷。
Microsoft 的設定也不是在 2027 年 2 月 1 日就瞬間套用到所有網頁,而是隨著重新抓取逐步生效。已使用舊版偏好的網站,最好提前完成設定及檢查,避免在等待重新抓取期間出現原本限制失效的情況。
結語:AI 訓練退出機制上線前,網站該怎麼準備?
2026 年提出的 AI 訓練退出機制,讓網站未來有機會透過同一組 robots.txt 規則向多家 AI 公司表達內容使用偏好,減少分別管理不同平台的工作。不過,目前仍處於草案與導入階段,OpenAI、Google、Microsoft 和 Anthropic 的現行控制方式也不完全一致。
如果網站希望拒絕 AI 模型訓練,同時保留 Google 或 ChatGPT 搜尋曝光,可以先檢查各平台已提供的爬蟲規則,確認是否符合實際需求。Google-Extended 與 Microsoft AI Grounding 的適用範圍也需要另外評估,避免限制訓練用途時,連原本希望保留的 AI 引用資格都一起關閉。
對依靠公開文章經營流量的網站而言,現階段最實際的安排,是保留已經生效的個別設定,記錄不同類型內容的使用偏好,再依各家公司後續公告調整共用規則。正式修改前先確認網站希望保留哪些搜尋入口,通常比一次封鎖所有 AI 相關程式更符合內容經營的需求。
常見FAQs
網站透過 robots.txt 或平台提供的設定,表達不希望公開內容被用於生成式 AI 模型訓練的偏好。2026 年提出的新機制嘗試讓多家 AI 公司使用共同訊號。
尚未全面生效。__usage_ai-training 目前仍屬 IETF Internet-Draft,各服務商有不同的導入時程,不能當成所有 AI 公司都已遵守的封鎖措施。
若希望對整站表達拒絕訓練偏好,可以寫入「User-agent: __usage_ai-training」並搭配「Disallow: /」;也能用 Allow 為特定路徑設定例外。
不一定。它是內容使用偏好訊號,並非實際爬蟲名稱;即使爬蟲仍存取網站,服務商也可能遵守規則,不將內容用於生成式 AI 訓練。
拒絕模型訓練不等於退出傳統搜尋。Google-Extended 不會直接影響一般 Google 搜尋收錄與排名,但它也涉及部分 Gemini Grounding 用途,須另外評估引用資格。
可在 robots.txt 對 GPTBot 設定 Disallow: /,並對 OAI-SearchBot 設定 Allow: /。這樣能表達不同用途的選擇,但不保證文章一定獲得 ChatGPT 搜尋引用。
Googlebot 用於搜尋抓取,Google-Extended 是管理部分 Gemini 模型訓練與 Grounding 用途的政策代號,不是獨立發送 HTTP 請求的爬蟲。
可以。Microsoft 提供 AI Training 與頁面層級 AI Grounding 偏好,預計 2027 年 2 月 1 日起隨抓取採用;原本使用 NoArchive、NoCache 的網站應留意 3 月 1 日轉換期限。
不行。robots.txt 是公開偏好檔案,並非存取控制;付費內容、內部文件和個人資料應使用登入驗證及適當的伺服器權限。
Notion 可以記錄文章的 AI Training、Grounding 與授權偏好,但修改資料庫欄位本身不會更新網站 robots.txt,仍需在網站或部署流程中實際設定。