9 月 29 日消息，隨著 OpenAI 的 ChatGPT、微軟的 Bing Chat 和谷歌 Bard 等生成式 AI 服務越來越多地用作搜索引擎的替代品，它們也遇到了一些個人和公司的抵制，這些網站開發者不希望他們的網站數據被用于 AI 模型訓練。

今天，谷歌宣布了一種新方法，網站開發者可以選擇允許其 Bard 和 Vertex AI 服務訪問其內容，或者選擇不用于訓練這些 API 模型。

谷歌在一篇博客中宣布推出 Google-Extended，這是一種新控件，網站開發在可以使用它來管理其網站是否幫助 Bard 和 Vertex AI。

網站目前可以通過 robots.txt 提供拒絕被爬蟲的名單，谷歌認為所有 AI 模型提供商也都應該提供這種類似的透明度和控制方法。然而，隨著 AI 應用的擴展，網站將面臨大規模管理不同用途的日益復雜性。谷歌表示將盡快分享更多信息。

IT之家從谷歌支持文檔中發現，Google-Extended 沒有單獨的 HTTP 請求 user agent（UA）字符串，抓取是通過現有的 Google UA 字符串完成的；robots.txt user-agent token 可以用于進行控制。

除了今天的聲明之外，谷歌還表示，它將“探索其他機器可讀的方法來為網站進行選擇和控制。”它包含一個鏈接，這些網站可以在其中注冊郵件列表，在那里他們將收到有關谷歌改進網站控制的其他更新信息。