眾所周知，OpenAI 從 GPT-4 開始就已經對技術細節完全保密了，最初只用一份 Tech Report 來展示基準測試結果，而閉口不談訓練數據和模型參數。盡管后來有網友各種爆料，OpenAI 也從未回應。

不難想象，訓練 GPT-4 需要海量的數據，這可不是付費購買能解決的問題。大概率，OpenAI 用了網絡爬蟲。很多用戶指控 OpenAI，理由就是這種手段會侵犯用戶的版權和隱私權。

剛剛，OpenAI 攤牌了：直接公布從整個互聯網爬取數據的網絡爬蟲 ——GPTBot。

這些數據將被用來訓練 GPT-4、GPT-5 等 AI 模型。不過 GPTBot 保證了，爬取內容絕對不包括違反隱私來源和需要付費的內容。

OpenAI 表示：「使用 GPTBot 爬取網絡數據是為了改進 AI 模型的準確性、功能性和安全性?！?/span>

網站所有者可以根據需要允許和限制 GPTBot 爬取網站數據。接下來，我們來看下 GPTBot 究竟是如何工作的，順便了解一下屏蔽方法。

首先，GPTBot 的用戶代理字符串（User-Agent String）如下：

User agent token: GPTBot

Full user-agent string: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GPTBot/1.0; +https://openai.com/gptbot)

使用如下方法可以將 GPTBot 添加到網站的 robots.txt，禁止 GPTBot 訪問網站：

User-agent: GPTBot

Disallow: /

還可以允許 GPTBot 訪問網站特定部分的內容：

User-agent: GPTBot

Allow: /directory-1/

Disallow: /directory-2/

近期，OpenAI 因為未經明確批準而在網站數據上訓練 GPT-4 等大型語言模型而遭到強烈反對。批評者們表示，即使內容可以公開訪問，像 OpenAI 這樣的公司也應該遵循訓練協議。人們還擔心，內容在輸入 AI 系統時會被斷章取義。

但即使遵循了 robots 協議，鑒于其并不是規范，而只是約定俗成的，所以并不能保證網站的隱私。

GPTBot 發布之后，這條動態已經在 Hacker News 上引發了一場爭論，焦點是使用抓取的網絡數據來訓練人工智能系統的道德和合法性。

一部分人認為，GPTBot 的推出展示了使用公開數據研發 AI 模型的「灰色地帶」：

「在訓練完模型后還爬取數據，這真是太好了。根據推測，這些 header 不會影響他們已經抓取來訓練 GPT 的任何頁面?！?/span>

「現在，他們可以游說反抓取的監管并阻礙其他任何的追趕了?！?/span>

鑒于 GPTBot 會識別自己的身份，因此網站管理員可以通過 robots.txt 阻止它，但有些人認為允許它這樣做沒有任何好處，不像搜索引擎爬蟲會帶來流量。

一個值得關注的問題是，受版權保護的內容會在未注明出處的情況下被使用。ChatGPT 目前沒有注明出處。

還有人質疑 GPTBot 如何處理網站上的授權圖片、視頻、音樂和其他媒體。如果這些媒體在模型訓練中用到，則可能構成版權侵權。

另外一些專家認為，如果 AI 編寫的內容被反饋到訓練中，爬蟲生成的數據可能會降低模型的性能。

相反，一些人認為 OpenAI 有權自由使用公共網絡數據，并將其比作一個人從在線內容中學習。但也有人認為，如果 OpenAI 將網絡數據貨幣化以獲取商業利益，那么就應該分享利潤。

總之，GPTBot 引發了關于所有權、合理使用和網絡內容創建者激勵機制的復雜爭論。雖然遵循 robots.txt 是一個很好的步驟，但仍然缺乏透明度。

這或許是科技界下一個輿論焦點：隨著 AI 產品的快速發展，「數據」到底該怎么用？