前段時間，抓取平臺用戶數據風波，Reddit網友吵翻了天。

今天，OpenAI推出了一個網絡爬蟲工具GPTBot，能夠自動抓取網站的數據。

如何使用？

OpenAI在發布的文檔中表示，網絡爬蟲將過濾刪除需要付費強訪問的來源，同時也會刪除個人身份信息（PII）或違反其政策的文本。

GPTBot抓取的數據，被用來訓練GPT-4或GPT-5，能夠提升未來人工智能系統的準確性和能力。

可通過以下代碼識別該工具：

User agent token: GPTBot
Full user-agent string: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GPTBot/1.0; +https://openai.com/gptbot)

禁止GPTBot訪問

另一方面，你也可以通過將GPTBot添加到站點robots. txt，來禁止其訪問網站。

這意味著，網站所有者必須自愿采取措施，禁止OpenAI對自己的網站訪問，不將自己的數據用來訓練。

User-agent: GPTBot
Disallow: /

自定義GPTBot訪問

你還可以通過以下代碼，來控制GPTBot對網站部分內容的訪問。

User-agent: GPTBot
Allow: /directory-1/
Disallow: /directory-2/

IP出口

對于OpenAI的爬蟲，將從OpenAI網站上記錄的IP地址塊調用網站。

網友熱議

OpenAI此舉引發了網友對用于訓練AI模型的網絡爬蟲的道德問題的討論。

「OpenAI甚至沒有適度引用。它是在制作衍生作品，卻沒有引用，從而掩蓋了它的事實。」

網友表示，終于有機會阻止OpenAI抓取你的網絡數據，來訓練模型。

還有人表示，ChatGPT瀏覽器插件已被移除一段時間，部分原因是它可以訪問付費墻后面的內容。

前段時間，OpenAI于7月18日向美國專利局提交了GPT-5的商標申請，暗示著公司正在訓練更高級的AI系統。

GPTBot顯然將幫助該OpenAI從互聯網上收集更多數據來訓練這個模型。