準確率 99%,新模型可識別 ChatGPT 生成的文本內容
IT之家 11 月 8 日消息,根據 sciencedirect 收錄的最新論文,科學家依賴 20 個特征和機器學習算法,可以準確區分內容是由人類論文作者創作,還是由 ChatGPT 生成的,且準確率可以高達 99%。
AI Detector 研究人員表示該模型在區分人類寫作和 ChatGPT 生成的文本方面表現出 99% 的準確率,并且明顯優于 ChatGPT 制造商 OpenAI 提供的 AI 檢測軟件 GPT-2 Output Detector。
研究人員也坦言,現階段該賽模型算法測試的樣本數據并不夠大,只是測試了 13 家化學期刊和 3 家媒體上文章,通過 20 個文本特征和 XGBoost,可以有效區分人類協作,以及 GPT-3.5 / GPT-4 生成內容。
研究人員表示,這些測試表明他們的方法簡單而有效。他們強調,取決于提示和模型,該工具在識別人工智能生成的文本時表現出 98%-100% 的準確率。
研究人員表示 OpenAI 目前檢測器準確率目前在 10-56% 之間,該工具比 OpenAI 的更為先進。
研究人員進一步透露,這項研究和發明背后的目標是為科學界提供一種途徑,讓他們能夠評估“ChatGPT 對化學期刊的滲透,確定其使用的后果,并在出現問題時迅速引入緩解策略”。
IT之家在此附上論文地址,感興趣的用戶可以深入閱讀。
Heather Desaire, Aleesa E. Chua, Min-Gyu Kim, David Hua,Accurately detecting AI text when ChatGPT is told to write like a chemist,Cell Reports Physical Science,2023,101672,ISSN 2666-3864,https://doi.org/10.1016/j.xcrp.2023.101672.