OpenAI開發ChatGPT「反作弊神器」,99.9%超高命中率!但沒發布
去各大高校圖書館轉一圈,會發現頭上一副耳機、手邊一杯咖啡,電腦上一個AI工具網頁幾乎成了當代大學生標配。
學生熱衷于在ChatGPT的幫助下完成作業,教師們卻頭疼于無法杜絕學生用ChatGPT作弊的行為。
人工智能可以根據一個提示,在幾秒鐘內免費創建整篇論文或研究論文。教師和教授表示,他們迫切需要幫助來打擊濫用行為。
《每日郵報》2023年1月30報道稱,UNSW的1名學生使用ChatGPT自動生成論文被抓,這也是全澳第一個使用AI技術作弊被抓的學生。
UNSW人工智能教授Toby Walsh表示,各大高校都在評估如何阻止學生使用AI技術作弊。
隨后,新州、昆州和塔州都封鎖了校園網絡對于ChatGPT的訪問,以防學生通過該技術作弊。
但Walsh教授表示,阻止校園網絡訪問ChatGPT是沒有意義的,因為學生們可以通過代理繞過封鎖。
「想要徹底阻止學生作弊,只能把他們放在一個沒有網絡的環境里,給他們一張紙和一支筆。」
CDT最近進行的一項調查發現,59%的中學教師確信有些學生使用了AI來幫助完成學業,比前一個學年上升了17個百分點。
要想靠老師和學校的盯梢,避開ChatGPT的誘惑很難辦到,解鈴還須系鈴人——讓AI企業親自出馬解決抓「AI槍手」。
據悉,OpenAI已經開發出一款能夠高精度識別ChatGPT生成文本的工具,但遲遲未發布。
「文本水印」抓作弊,成功率99.9%
ChatGPT由人工智能系統提供支持,生成原理是根據輸入內容預測句子中接下來出現的token。
OpenAI正在討論的反作弊工具將稍微改變token的選擇方式,這些變化會留下一種稱為水印的圖案。
這些水印肉眼無法察覺,但可以通過OpenAI的檢測技術發現,檢測器提供整個文檔或部分文檔由ChatGPT編寫的可能性的分數。
根據內部文件,當ChatGPT創建足夠多的新文本時,水印的有效率可以達到99.9%。
雖然準確率超高,OpenAI工作人員仍然擔心,換一種方式可以輕松卡Bug,通過簡單的技術來刪除水印。
例如讓Google將文本翻譯成另一種語言,然后再翻譯回來,或者讓ChatGPT在文本中添加表情符號,然后手動刪除它們。
另一方面,公司內部普遍認為,誰可以使用該探測器將也是一個棘手的問題。
如果擁有該工具的人太少,工具基本上就沒有用處。如果太多人獲得訪問權限,有些人可能會嘗試破譯水印技術。
OpenAI員工也討論過,直接向教育工作者或外部公司提供檢測器,幫助學校識別人工智能撰寫的論文和抄襲作品。
谷歌其實也開發過一種水印工具,可以檢測Gemini AI生成的文本,叫做SynthID,正處于Beta測試階段,尚未廣泛使用。
OpenAI有一個工具可以確定圖像是否是使用文本到圖像生成器DALL-E 3創建的,該工具于去年春天發布用于測試。
該知情員工表示,該公司優先考慮音頻和視頻水印而不是文本,因為其危害更為嚴重,尤其是在美國繁忙的選舉年。
AI文本分類器
早在2023年1月,OpenAI就發布了一種算法,旨在檢測多個AI模型(包括其自己的模型)編寫的文本。
但它的成功率僅為26%,七個月后OpenAI就將其撤回。
其他公司和研究人員還開發了一些工具來檢測人工智能創建的文本,許多教師表示他們已經使用過這些工具。
但它們有時無法檢測由高級大語言模型編寫的文本,并且準確率很低,可能產生誤報。
最近在佐治亞州一所私立高中任教的教育工作者人工智能顧問Mike Kentz表示,起初,學生們確實被震懾到,以為老師們已經完全掌握了一種方法,可以弄清楚他們是否使用了人工智能代寫。
但到了年底……他們慢慢發現,等一下,我的老師好像不知道。
一些老師鼓勵學生使AI來幫助研究或提供想法反饋。但問題是,當學生使用像ChatGPT這樣的應用程序來完成所有工作時,學生甚至不會去檢查自己交的是什么。
去年,猶他大學政治學教授Josh McCrain給學生布置了一份寫作作業,作業要求插入了難以辨認的小文字,其中提到了和作業無關的蝙蝠俠。
如果他們將作業復制并粘貼到人工智能中,作業提示內容就會被合并,「蝙蝠俠」就會干擾作業內容。
果然,少數學生提交了作業——一篇蝙蝠俠論文。
McCrain教授正在調整寫作作業,更多地關注人工智能不太熟悉的時事,并懇求學生不要將他們的工作外包給人工智能。
「這就是我試圖向學生們強調這一點的地方:你需要自己學習這些東西。」McCrain教授說。
爭論不休
知情人士稱,有關水印工具的討論早在OpenAI于2022年11月推出ChatGPT之前就已經開始。
它是由計算機科學教授Scott Aaronson開發的,過去兩年他在德克薩斯大學休假期間一直在OpenAI從事安全工作。
2023年初,OpenAI聯合創始人之一John Schulman在一份共享的Google文檔中概述了該工具的優缺點。
OpenAI高管隨后決定,在采取進一步行動之前,他們將征求一系列人士的意見。
在接下來的一年半時間里,OpenAI高管反復討論,并尋求新數據集優化算法,猶豫是否發布該技術。
內部文件顯示,2023年4月,OpenAI委托進行了一項調查,結果顯示,世界范圍的人們以四比一的比例支持人工智能檢測工具的想法。
同月,OpenAI對ChatGPT用戶進行了調查,發現69%的人認為作弊檢測技術會導致使AI技術錯誤指控。
近30%的人表示,如果ChatGPT部署了水印功能,而競爭對手沒有部署水印,他們會減少使用。
另外,OpenAI內部還有一種反對的聲音是反作弊工具可能會損害ChatGPT的寫作質量。
知情人士稱,OpenAI今年早些時候進行了一項測試,發現文本水印不會降低輸出質量。
6月初,OpenAI高級員工和研究人員再次聚會討論該項目。該組織一致認為水印技術效果良好,但去年的ChatGPT 用戶調查結果仍然是一個頭疼的問題。
內部文件顯示,OpenAI需要在今年秋天之前制定一項計劃,圍繞AI透明度以及相關潛在新法律來左右公眾輿論——
「如果做不到這一點,我們就有可能失去負責任企業的信譽。」