AI 訓練退出機制是什麼?robots.txt 設定與 Google、OpenAI 新規解析

首頁 » 數位工具品牌實踐 » AI流程自動化 » AI 訓練退出機制是什麼?robots.txt 設定與 Google、OpenAI 新規解析

網站公開發表文章,不代表同意內容被拿去訓練 AI。2026 年 10 月 30 日,OpenAI、Google、Microsoft 與 Anthropic 支持一項新的 AI 訓練退出機制,讓網站經營者未來有機會透過 robots.txt 的共用規則,向多家 AI 公司表達不願提供內容作為模型訓練資料的意願。

過去,若希望文章繼續出現在 Google 搜尋結果,卻不想被 OpenAI 或 Anthropic 拿去訓練模型,就得分別研究各家公司的爬蟲規則,再逐一設定 GPTBot、ClaudeBot 或 Google-Extended。新提案希望簡化這個過程,讓網站能使用共同的政策代號管理 AI 訓練偏好,同時保留針對個別服務商調整的空間。

不過,這套共用機制目前仍在標準制定及平台導入階段,並非所有 AI 公司都已正式支援。 更需要留意的是,AI 模型訓練、搜尋引擎收錄,以及 AI 回答引用網站內容,分別涉及不同的技術與使用政策。拒絕訓練不一定會失去搜尋流量,但各平台提供的控制方式確實存在差異。

本文資訊更新至 2026 年 11 月 4 日,以下從 IETF 草案、robots.txt 設定方式,以及 OpenAI、Google、Microsoft 和 Anthropic 的現行政策切入,說明網站目前有哪些選擇。

AI 訓練退出機制是什麼?2026 年為何推出共用規則?

AI 訓練退出機制(AI Training Opt-out)是網站用來表達內容使用偏好的方式,主要目的是告知 AI 服務商,網站上的公開資料是否可以被用來訓練生成式 AI 模型。過去這類設定多由個別公司提供,2026 年的新提案則希望建立跨平台共用的格式,減少網站必須為不同 AI 公司維護多組規則的情況。

2026 年 10 月 30 日,Anthropic 的 Kevin Kelley 向網際網路工程任務組織(IETF)提交一份名為 Machine-Readable Training Preference Signal 的文件,提出以 robots.txt 既有語法表達 AI 訓練偏好的方法。這份提案與 IETF AI Preferences(AIPREF)工作小組正在討論的內容使用政策有關,OpenAI、Google 與 Microsoft 也在同一天宣布支持共用訓練偏好的方向。

目前該文件的狀態仍是 Internet-Draft,也就是網際網路草案。雖然標示預計朝正式標準推進,但尚未取得 IETF 核准,各服務商也需要時間完成技術整合。因此,2026 年 10 月的公告應理解為業界開始採用共同機制的計畫,不能直接視為一套已經全面生效的新規定。

傳統 robots.txt 為什麼無法完整管理 AI 訓練?

robots.txt 原本用來管理網站爬蟲,透過 User-agent、Allow 和 Disallow 等指令,告訴自動化程式哪些路徑可以抓取、哪些路徑不希望被存取。搜尋引擎長期使用這套機制,網站也可以藉此調整 Googlebot、Bingbot 等程式的抓取範圍。

但網頁被抓取之後,資料可能有不同用途。Google 可以建立搜尋索引,讓文章出現在一般搜尋結果;ChatGPT 或 Claude 可能在回答問題時讀取網頁,提供帶有來源的回答;模型開發公司則可能將公開文章納入資料集,用於後續生成式 AI 模型訓練。

這幾種行為都可能接觸同一篇文章,對網站經營者而言卻有不同意義。例如,公開的旅遊攻略可能希望透過搜尋引擎吸引讀者,卻不希望全文成為模型訓練素材。單純使用 robots.txt 封鎖某個爬蟲,未必能精準表達這種需求,尤其部分服務商可能共用網頁擷取流程,資料取得後再依不同產品用途處理。

新提案因此把「允許程式抓取網站」與「允許內容用於 AI 訓練」分開管理。原有爬蟲規則仍然存在,新的政策訊號則負責描述取得內容後的使用偏好。

IETF 如何定義 AI Training?

IETF 草案對 AI Training 的定義相對明確,指的是使用數位內容修改生成式 AI 模型已經學得的參數。這與模型在回答問題時即時參考網頁資料不同,也不等於搜尋引擎建立索引或排序搜尋結果的過程。

例如,AI 搜尋服務在回答問題時讀取一篇公開文章,並將其中資訊整理成附有來源的回覆,通常屬於 Grounding 或其他搜尋相關用途;若文章被納入資料集,進一步用來調整生成式模型的參數,才屬於草案所定義的 AI Training。

此外,這項定義不涵蓋專門用於分類、排序或評分等非生成式任務的模型訓練,即使底層模型本身也具備生成能力,仍可能不在這項政策範圍內。

這些界線會直接影響退出機制的適用範圍。網站透過新規則拒絕 AI Training,主要是在表達不希望內容用於生成式模型訓練,並沒有同時禁止所有 AI 搜尋、摘要或即時引用行為。

robots.txt 如何設定 AI 訓練退出?__usage_ai-training 用法解析

這次 IETF 草案提出的共用政策代號為 __usage_ai-training,使用方式與傳統 robots.txt 相近。網站可以把它放在 User-agent 欄位,再透過 Allow 或 Disallow 指定適用路徑,無須另外建立新的 robots.txt 指令。

假設整個網站都不希望公開內容被拿去訓練生成式 AI,可以加入以下設定:

User-agent: __usage_ai-training
Disallow: /

這段規則代表網站針對所有路徑表達拒絕 AI 訓練的偏好。支援這項政策的服務商讀取 robots.txt 後,便能依照草案定義判斷網站的選擇。

若只希望開放特定資料夾,例如提供媒體使用的 /press-kit/,也可以保留例外:

User-agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

由於草案沿用既有的 robots.txt 路徑匹配規則,較具體的 /press-kit/ 可以優先於整站的 /,表示該資料夾的內容允許用於 AI 訓練,其他路徑則維持拒絕偏好。

共用政策代號和封鎖 AI 爬蟲有什麼不同?

雖然 __usage_ai-training 寫在 User-agent 欄位,但它並不是一個實際執行網站抓取的爬蟲名稱,而是代表特定內容用途的政策代號。這也是它與 GPTBot、ClaudeBot 或 Googlebot 最主要的差異。

當網站設定 User-agent: GPTBot 並禁止抓取時,目的是限制 GPTBot 對相關路徑的存取;設定 __usage_ai-training 則是在表達內容不應用於生成式 AI 訓練,並不要求服務商一定停止發送網頁請求。

換句話說,即使服務商仍然抓取網站,也可能遵守新政策,不將相關內容用於模型訓練。反過來說,沒有支援這項政策的爬蟲,也不會因為網站新增代號就自動改變行為。

草案還規定,一般的 User-agent: * 不應被解讀為符合 __usage_ai-training。因此,網站既有的通用爬蟲規則,不代表已經透過新機制明確表達 AI 訓練偏好;如果完全沒有設定該政策代號,則屬於沒有透過這項機制表達偏好。

個別服務商也可以保留自己的專用規則。當共用政策與 Google-Extended 等既有設定不同時,業者可以依公開說明決定優先順序,這部分仍需分別查看各公司的實作方式,不能假設所有平台都採用相同判斷。

拒絕 AI 訓練會影響 Google 搜尋或 ChatGPT 流量嗎?

網站拒絕 AI 訓練,不一定會因此失去傳統搜尋流量。真正需要區分的是,搜尋引擎收錄、生成式模型訓練和 AI Grounding 屬於不同的內容用途,而各家公司提供的控制選項不完全相同。

傳統搜尋主要透過網頁索引與排名,讓使用者找到相關網站;AI Grounding 則是在生成回答時參考外部資料,提高回答的時效性與相關性。至於 AI 模型訓練,通常涉及將資料納入訓練流程,用來調整模型未來產生內容的能力。

同一篇文章可以同時參與多種用途,但網站未必願意全部開放。以下整理目前較常見的內容使用方式,以及設定時需要注意的差異。

內容使用方式主要用途網站可能受到的影響常見控制方式
傳統搜尋索引建立搜尋索引、顯示搜尋結果Google、Bing 搜尋曝光Googlebot、Bingbot
AI 模型訓練使用資料調整生成式模型參數內容可能進入模型訓練流程GPTBot、ClaudeBot、AI Training 偏好
AI Grounding在生成回答時參考外部資料內容可能被 AI 回答引用各平台 Grounding 控制
AI 搜尋整理搜尋資訊並提供來源連結ChatGPT、Claude 等搜尋曝光OAI-SearchBot、Claude-SearchBot
使用者主動存取AI 助理依照要求開啟網頁影響 AI 工具能否讀取指定內容網站權限及各平台存取政策

Google 搜尋的 AI Overviews 和 Gemini Grounding 是同一件事嗎?

Google 搜尋中的 AI Overviews(AI 摘要)與 AI Mode,是 Google 搜尋產品的一部分,主要透過既有的搜尋索引和相關網頁資訊產生回答。網站若希望控制內容在這些搜尋功能中的顯示方式,仍需參考 Googlebot 的抓取規則,以及 nosnippet、max-snippet、noindex 等搜尋預覽控制。

Gemini Apps 的 Grounding 則涉及不同的產品用途。Google 提供的 Google-Extended,除了管理部分 Gemini 模型訓練,也涵蓋 Gemini Apps 及 Vertex AI 相關服務的部分 Grounding 使用。

因此,網站即使允許 Googlebot,也不代表必須允許 Google-Extended;拒絕 Google-Extended 雖然不會直接影響傳統 Google 搜尋收錄與排名,卻可能影響部分 Gemini 產品使用內容作為回答依據的資格。

這種差異對依靠自然搜尋流量的網站相當實際。設定前最好先確認希望保留哪些曝光來源,再決定要限制的內容用途,而不是看到 AI 相關名稱就全部加入封鎖清單。

OpenAI、Google、Microsoft、Anthropic 的 AI 訓練退出政策比較

2026 年 10 月 30 日,多家 AI 公司相繼支持共用 AI 訓練偏好,但各平台原本就有不同的網站控制機制,新的共用訊號也不是同一天全面生效。現階段仍應以各家正式提供的設定方式為基礎,再追蹤後續導入進度。

OpenAI:GPTBot 負責訓練抓取,OAI-SearchBot 用於 ChatGPT 搜尋

OpenAI 將不同用途的網頁擷取程式分開管理,其中 GPTBot 用於取得可能被納入生成式 AI 基礎模型訓練的內容,OAI-SearchBot 則協助 ChatGPT 搜尋功能取得網頁資料。兩者可以分別設定,因此網站能拒絕訓練用途的抓取,同時保留被 ChatGPT 搜尋找到的機會。

例如,網站希望阻止 GPTBot 抓取公開文章,卻仍允許 OAI-SearchBot 存取,可以在 robots.txt 設定:

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /

依照 OpenAI 的官方說明,拒絕 GPTBot 代表網站表達不希望相關內容用於 OpenAI 生成式 AI 基礎模型訓練的意願;允許 OAI-SearchBot 則讓網站保留進入 ChatGPT 搜尋結果的資格,但不保證一定被引用或帶來流量。

OpenAI 另有 ChatGPT-User,主要用於使用者主動要求 ChatGPT 讀取網頁的情境。這類存取與一般自動化搜尋抓取不同,因此 robots.txt 規則未必適用,不能直接把 ChatGPT-User 視為 GPTBot 或 OAI-SearchBot 的替代品。

至於共用訓練偏好,OpenAI 在 2026 年 10 月 30 日宣布計畫於未來數月完成實作,當時尚未公布確切生效日期。官方也表示,新的共同訊號不會取代既有爬蟲控制,因此目前已經使用 GPTBot 規則的網站,沒有必要急著刪除原本設定。

Google:Google-Extended 同時管理部分訓練與 Grounding 用途

Google 自 2023 年起提供 Google-Extended,讓網站選擇是否允許其內容用於部分 Gemini 模型訓練及 Grounding。這個名稱雖然可以寫在 robots.txt 的 User-agent 欄位,但它本身不是獨立執行 HTTP 請求的爬蟲,而是控制 Google 如何使用已取得內容的政策代號。

如果希望拒絕 Google-Extended 涵蓋的用途,可以使用:

User-agent: Google-Extended
Disallow: /

Google 官方明確指出,這項設定不影響網站在一般 Google 搜尋中的收錄資格,也不是搜尋排名訊號。不過,由於 Google-Extended 同時涵蓋 Gemini Apps 與部分 Vertex AI Grounding 用途,網站拒絕後,相關內容也可能失去被這些產品引用的機會。

這與 OpenAI 可以分別設定 GPTBot 和 OAI-SearchBot 的情況不同。若網站希望拒絕模型訓練,卻仍允許 Gemini Grounding,Google-Extended 目前沒有提供完全獨立的兩個開關,設定時需要連同產品引用資格一起評估。

Google 已宣布預計在 2027 年初支援共用 AI 訓練偏好。按照目前公布的計畫,若網站透過 __usage_ai-training 表達拒絕訓練,且沒有明確指定 Google-Extended,Google 將把這項共同訊號視為拒絕 Google-Extended。

反過來說,網站也可以另外明確指定 Google-Extended,但這會涉及該服務所涵蓋的訓練與 Grounding 用途,不能單純理解成只開放 AI 回答引用。

Microsoft:AI Training 與 AI Grounding 可以獨立控制

Microsoft 這次公布的政策,除了支援共用 AI Training 偏好,也另外提供 AI Grounding 的頁面層級控制,讓網站能分別決定內容是否可用於生成式模型訓練,以及是否可用於支援 AI 生成回答。

AI Training 可以透過 robots.txt 管理整個網站或特定路徑,也能針對單一頁面設定;AI Grounding 則採頁面層級的控制方式,提供 Allow、DisallowExtended 和 Disallow 三種選項。

其中,Allow 代表允許內容用於 Grounding;Disallow 則表示拒絕這項用途。DisallowExtended 介於兩者之間,允許 Microsoft 自有產品使用內容作為回答依據,但限制 Microsoft 向第三方提供的 Grounding 服務使用。

若網站只想禁止某篇文章用於 AI 訓練,可以在 HTML 的 <head> 加入:

若希望拒絕該頁面被用於 AI Grounding,則可以使用:

這兩項設定可以獨立使用,也可以依需求搭配。Microsoft 同時支援對應的 HTTP 回應標頭,因此不一定只能直接修改 HTML。

Microsoft 預計自 2027 年 2 月 1 日起,隨著網站重新抓取而逐步採用新偏好。原本使用 NoArchive 或 NoCache 管理 AI 用途的網站,則需要在 2027 年 3 月 1 日前完成轉換,否則舊設定將不再作為訓練與 Grounding 偏好的判斷依據。

如果網站原本透過 NoArchive 或 NoCache 限制 Grounding,除了新增頁面設定,符合條件者還需要依照 Microsoft 的過渡安排,在 Bing Webmaster Tools 記錄臨時偏好。這項功能預計於 2026 年 12 月 15 日開放,主要是避免網站尚未重新抓取時,原本的限制突然失效。

Microsoft 也說明,新設定不改變網站參與一般 Bing 搜尋的資格,但若拒絕 Grounding,內容出現在相關 AI 回答中的機會可能減少。是否獲得引用、流量或授權報酬,則不會因為允許某項用途而獲得保證。

Anthropic:ClaudeBot、Claude-SearchBot 與 Claude-User 用途不同

Anthropic 目前使用不同的爬蟲處理模型訓練、搜尋及使用者主動存取。ClaudeBot 負責取得可能用於模型訓練的網頁內容,Claude-SearchBot 用於改善 Claude 的搜尋結果,而 Claude-User 則在使用者要求 Claude 存取特定網站時發揮作用。

如果網站只想拒絕模型訓練用途的抓取,仍希望保留 Claude 搜尋曝光,可以設定:

User-agent: ClaudeBot
Disallow: /

User-agent: Claude-SearchBot
Allow: /

依照 Anthropic 的官方文件,限制 ClaudeBot 代表網站希望後續相關內容排除在模型訓練資料集之外;限制 Claude-SearchBot 則可能影響內容在 Claude 搜尋結果中的可見度。

Claude-User 的用途又有所不同,主要與使用者主動要求取得網頁資料有關,因此是否限制這類存取,需要依網站對 AI 助理讀取內容的態度另外判斷。

這次共用 AI 訓練偏好草案由 Anthropic 人員提交,也代表 Anthropic 參與了相關標準討論。不過,草案提出與平台完成全面部署仍是兩個不同階段。對已經希望阻止 ClaudeBot 抓取內容的網站而言,現有的 robots.txt 設定仍應保留,後續再依 Anthropic 公布的實際支援方式調整。

共用 AI 訓練退出機制能完全阻止內容被 AI 使用嗎?

即使多家 AI 公司開始採用共同政策,robots.txt 仍然不是強制性的安全防護措施。它是一份公開的機器可讀設定,主要用來傳達網站經營者的偏好,實際效果取決於服務商是否支援、如何解讀,以及是否願意遵守。

對已經承諾遵守政策的公司而言,這項機制可以減少網站與平台之間的設定落差;但沒有參與共同機制的業者、刻意忽略 robots.txt 的自動化程式,或透過其他管道取得資料的第三方,都不會因為網站新增一組政策代號就受到技術上的全面阻擋。

另外,新的設定主要管理後續內容使用偏好,並不具備撤回既有訓練資料的功能。文章過去若已經被抓取、加入資料集,甚至用於模型訓練,網站現在修改 robots.txt,也不代表先前的資料會自動被刪除,或已經訓練完成的模型會立即排除相關影響。

robots.txt 和著作權授權有什麼差別?

公開網站的內容通常仍可能受到著作權法保護,但文章是否可以被第三方用於模型訓練,涉及不同司法管轄區的法律、例外規定、授權合約與具體使用方式,不能單靠 robots.txt 判定所有行為是否合法。

AI 訓練退出訊號主要提供技術上的偏好表達,並沒有建立跨平台的付費授權制度,也沒有規定所有業者必須因為使用公開內容而支付報酬。

IETF 草案還提到,個別服務商的專有政策或私人協議可能影響共用偏好的實際解讀。例如,出版商與 AI 公司已經簽訂內容授權合約時,雙方的合約條件可能需要另外處理,無法只看公開 robots.txt 就判斷完整授權範圍。

因此,對靠文章流量、專業研究或內容授權維持收入的網站而言,共用退出機制是一項可以使用的管理工具,但不能取代著作權聲明、授權管理或必要的法律程序。

未公開資料為什麼不能只靠 robots.txt 保護?

robots.txt 本身是公開檔案,任何人都可以開啟網站根目錄下的 /robots.txt 查看規則。若把內部文件、未公開報價或會員資料的路徑直接列在檔案中,反而可能讓外部知道這些網址存在。

更重要的是,Disallow 不會對網頁設定登入限制。只要伺服器仍允許未經驗證的訪客存取,即使 robots.txt 寫明禁止抓取,資料仍可能被直接開啟。

未公開內容應透過登入驗證、伺服器權限或其他適當的安全機制保護。公開網站的 AI 訓練偏好,與內部文件的存取控制需要分開處理,不能互相替代。

WordPress、Astro 與 Notion 如何管理 AI 訓練退出設定?

對使用 WordPress、Astro 或其他網站架構發布文章的創作者而言,現階段不需要急著把所有 AI 爬蟲全部封鎖。比較實際的做法,是先確認希望哪些內容維持搜尋曝光,再決定是否允許模型訓練,以及是否開放 AI 搜尋服務引用。

如果網站主要依靠公開教學文章、旅遊攻略或產品評測取得搜尋流量,通常會希望保留 Google、Bing 或 ChatGPT 搜尋的曝光機會。相較之下,付費教材、會員專屬內容或具有商業授權限制的資料,可能需要採用不同的存取政策。

這些選擇可以依網站整體規則管理,也可以在技術允許的範圍內細分到資料夾或單一頁面,不一定要對所有內容採取相同設定。

WordPress 和 Astro 應該在哪裡修改 robots.txt?

WordPress 網站可能透過 SEO 外掛、伺服器實體檔案或 WordPress 自動產生的虛擬 robots.txt 提供規則,因此修改前需要先確認目前網站實際使用哪一種方式。若同時存在外掛設定與實體檔案,還需要留意它們是否互相覆蓋。

Astro 等靜態網站通常可以把 robots.txt 放在專案的 public 目錄,建置與部署後便會出現在網站根目錄。不過,若網站使用 CDN、反向代理或不同部署環境,仍可能發生檔案快取、規則覆蓋或新版本尚未正式發布的情況。

無論採用哪一種架站方式,修改完成後都應直接開啟公開網址確認,例如 https://example.com/robots.txt,而不是只檢查後台或原始碼。

此外,主網域與子網域通常各自管理 robots.txt。假設文章分別發布在主網站及另一個子網域,兩邊的設定需要分別確認,不能認為主網站已經設定完成,其他子網域就會自動套用相同規則。

使用 Notion 管理文章時,如何記錄 AI 內容使用偏好?

若文章平時先在 Notion 整理,再透過自動化流程發布到網站,可以建立一份簡單的內容使用紀錄,將文章公開狀態、訓練偏好及授權資訊放在同一個資料庫管理。

Notion 欄位建議記錄內容
Article Title文章標題
Published URL正式公開網址
Content Type公開文章、免費教材、會員內容等
AI Training允許或拒絕模型訓練
AI Grounding是否開放 AI 回答引用
Licensing是否存在第三方授權
Last Reviewed最後檢查日期
Owner負責維護的人員

這份資料庫主要負責管理決策,修改 Notion 欄位本身不會自動更新網站的 robots.txt。如果網站已有 GitHub、Cloudflare 或其他自動部署流程,可以另外規劃如何把相關設定納入發布程序,但必須確認實際生成的檔案與文章權限一致。

尤其當網站同時管理公開文章與付費內容時,最好避免直接依照單一 Notion 欄位大量改寫網站規則,至少應保留部署前檢查與發布後驗證,以免錯誤設定影響整站搜尋。

修改 AI 爬蟲設定後,如何確認是否生效?

robots.txt 更新後,可以透過伺服器日誌、CDN 分析或其他存取紀錄觀察相關爬蟲的活動。若需要確認請求是否來自特定公司,還應參考官方公布的 IP 範圍或驗證方式,單靠 User-agent 名稱並不足以完全辨識來源。

但新的 AI 訓練偏好本來就不一定要求爬蟲停止存取,因此即使日誌仍然出現相關請求,也不能直接推定服務商違反了內容使用政策。抓取紀錄只能協助觀察網站存取情況,無法完整證明資料是否被納入模型訓練。

搜尋曝光則可以透過 Google Search Console、Bing Webmaster Tools 等工具持續追蹤。如果修改後發現網站收錄、曝光或點擊量出現異常,應先檢查是否誤封鎖 Googlebot、Bingbot 等搜尋爬蟲,再評估其他可能原因。搜尋流量本來就會受到排名、需求與競爭變化影響,不能把所有波動都歸因於 AI 退出設定。

AI 訓練退出新規何時生效?2027 年有哪些時程需要注意?

截至 2026 年 11 月 4 日,各家公司仍在分別安排共用政策的導入進度,並沒有統一的正式生效日期。OpenAI 表示預計在未來數月內實作,Google 則計畫於 2027 年初支援;Microsoft 已公布較明確的設定轉換時程。

對一般網站而言,可以先使用現有的 GPTBot、ClaudeBot 或 Google-Extended 規則,等各平台正式支援共用訊號後,再重新檢查是否需要調整。

至於原本使用 Microsoft NoArchive 或 NoCache 限制 AI 用途的網站,應特別留意下列時間:

日期預定事項
2026 年 12 月 15 日Microsoft 開放符合條件網站設定臨時 Grounding 過渡偏好
2027 年 2 月 1 日Microsoft 開始隨抓取採用新版 AI Training 與 AI Grounding 偏好
2027 年 3 月 1 日Microsoft 舊有 NoArchive、NoCache AI 用途偏好的轉換期限
2027 年 5 月 3 日目前 IETF 草案預定到期日
2027 年 9 月 30 日Microsoft 臨時 Grounding 過渡偏好的最晚到期日

其中,IETF 草案的到期日並不代表新標準一定會在當天正式成立。Internet-Draft 可以修訂、更新或由後續版本取代,相關政策是否成為正式標準,仍要依 IETF 後續進度判斷。

Microsoft 的設定也不是在 2027 年 2 月 1 日就瞬間套用到所有網頁,而是隨著重新抓取逐步生效。已使用舊版偏好的網站,最好提前完成設定及檢查,避免在等待重新抓取期間出現原本限制失效的情況。

結語:AI 訓練退出機制上線前,網站該怎麼準備?

2026 年提出的 AI 訓練退出機制,讓網站未來有機會透過同一組 robots.txt 規則向多家 AI 公司表達內容使用偏好,減少分別管理不同平台的工作。不過,目前仍處於草案與導入階段,OpenAI、Google、Microsoft 和 Anthropic 的現行控制方式也不完全一致。

如果網站希望拒絕 AI 模型訓練,同時保留 Google 或 ChatGPT 搜尋曝光,可以先檢查各平台已提供的爬蟲規則,確認是否符合實際需求。Google-Extended 與 Microsoft AI Grounding 的適用範圍也需要另外評估,避免限制訓練用途時,連原本希望保留的 AI 引用資格都一起關閉。

對依靠公開文章經營流量的網站而言,現階段最實際的安排,是保留已經生效的個別設定,記錄不同類型內容的使用偏好,再依各家公司後續公告調整共用規則。正式修改前先確認網站希望保留哪些搜尋入口,通常比一次封鎖所有 AI 相關程式更符合內容經營的需求。

常見FAQs

AI 訓練退出機制是什麼?

網站透過 robots.txt 或平台提供的設定,表達不希望公開內容被用於生成式 AI 模型訓練的偏好。2026 年提出的新機制嘗試讓多家 AI 公司使用共同訊號。

2026 年的共用 AI 訓練退出規則已正式生效嗎?

尚未全面生效。__usage_ai-training 目前仍屬 IETF Internet-Draft,各服務商有不同的導入時程,不能當成所有 AI 公司都已遵守的封鎖措施。

__usage_ai-training 要怎麼寫進 robots.txt?

若希望對整站表達拒絕訓練偏好,可以寫入「User-agent: __usage_ai-training」並搭配「Disallow: /」;也能用 Allow 為特定路徑設定例外。

使用 __usage_ai-training 是否會阻止 AI 爬蟲抓取網站?

不一定。它是內容使用偏好訊號,並非實際爬蟲名稱;即使爬蟲仍存取網站,服務商也可能遵守規則,不將內容用於生成式 AI 訓練。

拒絕 AI 訓練會影響 Google SEO 嗎?

拒絕模型訓練不等於退出傳統搜尋。Google-Extended 不會直接影響一般 Google 搜尋收錄與排名,但它也涉及部分 Gemini Grounding 用途,須另外評估引用資格。

如何拒絕 OpenAI 訓練,同時保留 ChatGPT 搜尋?

可在 robots.txt 對 GPTBot 設定 Disallow: /,並對 OAI-SearchBot 設定 Allow: /。這樣能表達不同用途的選擇,但不保證文章一定獲得 ChatGPT 搜尋引用。

Google-Extended 與 Googlebot 有什麼差別?

Googlebot 用於搜尋抓取,Google-Extended 是管理部分 Gemini 模型訓練與 Grounding 用途的政策代號,不是獨立發送 HTTP 請求的爬蟲。

Microsoft 的 AI Training 和 AI Grounding 能分開設定嗎?

可以。Microsoft 提供 AI Training 與頁面層級 AI Grounding 偏好,預計 2027 年 2 月 1 日起隨抓取採用;原本使用 NoArchive、NoCache 的網站應留意 3 月 1 日轉換期限。

robots.txt 可以保護付費教材或未公開文件嗎?

不行。robots.txt 是公開偏好檔案,並非存取控制;付費內容、內部文件和個人資料應使用登入驗證及適當的伺服器權限。

Notion 可以直接設定外部網站禁止 AI 訓練嗎?

Notion 可以記錄文章的 AI Training、Grounding 與授權偏好,但修改資料庫欄位本身不會更新網站 robots.txt,仍需在網站或部署流程中實際設定。

SUPPORT FENGNIII

喜歡這篇文章嗎?

如果這篇內容對你有幫助,可以透過小額贊助支持本站持續整理更多日文、韓文、旅行與數位工具內容。

小額支持本站

付款將由藍新金流安全處理