微調(diào)在構(gòu)建有價值的人工智能工具中起著至關(guān)重要的作用。這種使用更有針對性的數(shù)據(jù)集精煉預(yù)訓(xùn)練模型的過程可以使用戶大大增加模型對專業(yè)內(nèi)容的理解，允許用戶為特定任務(wù)的模型增加現(xiàn)成知識。

雖然這個過程可能需要時間，但與從頭開始訓(xùn)練模型相比，它的成本效益通常要高三倍。這一價值正是OpenAI最近宣布擴(kuò)展其自定義模型程序以及為其微調(diào)API提供各種新功能的原因。

自服務(wù)微調(diào)API的新特性

OpenAI最初于2023年8月宣布推出針對GPT-3的自助微調(diào)API，并得到了AI社區(qū)的熱烈響應(yīng)。OpenAI報告說，成千上萬的組織已經(jīng)使用API來訓(xùn)練成千上萬的模型，比如用特定的編程語言生成代碼，將文本總結(jié)為特定的格式，或者根據(jù)用戶行為創(chuàng)作個性化的內(nèi)容。

從2023年8月開始，工作匹配和招聘平臺Indeed取得了重大成功。為了將求職者與相關(guān)的空缺職位相匹配，Indeed向用戶發(fā)送個性化推薦。通過微調(diào)GPT 3.5 Turbo以生成更準(zhǔn)確的流程解釋，并能夠?qū)⑻崾局械牧钆茢?shù)量減少80%。這使得該公司從每月發(fā)給求職者的信息從不足100萬條增加到大約2000萬條。

新微調(diào)API特性建立在這個成功的基礎(chǔ)上，希望為未來的用戶改進(jìn)功能：

基于epoch的檢查點(diǎn)創(chuàng)建：在每個訓(xùn)練epoch自動生成一個完整的微調(diào)模型檢查點(diǎn)，這減少了后續(xù)再訓(xùn)練的需要，特別是在過度擬合的情況下。

Comparity Playground：一個新的并行Playground UI，用于比較模型質(zhì)量和性能，允許人工評估多個模型的輸出或針對單個提示進(jìn)行微調(diào)快照。

第三方集成：支持與第三方平臺的集成(從權(quán)重和偏差開始)，使開發(fā)人員能夠?qū)⒃敿?xì)的微調(diào)數(shù)據(jù)共享給堆棧的其余部分。

綜合驗證指標(biāo)：能夠計算整個驗證數(shù)據(jù)集的損失和準(zhǔn)確性等指標(biāo)，從而更好地了解模型質(zhì)量。

超級參數(shù)配置：能夠從儀表板配置可用的超級參數(shù)(而不僅僅是通過API或SDK)。

微調(diào)儀表板改進(jìn)：包括配置超級參數(shù)、查看更詳細(xì)的訓(xùn)練指標(biāo)以及從以前的配置中重新運(yùn)行作業(yè)的能力。

基于過去的成功，OpenAI相信這些新功能將使開發(fā)人員對他們的微調(diào)工作有更細(xì)粒度的控制。

輔助微調(diào)和定制訓(xùn)練模型

OpenAI還在2023年11月在DevDay上發(fā)布的基礎(chǔ)上，改進(jìn)了自定義模型計劃。其中一個主要變化是輔助微調(diào)的出現(xiàn)，這是一種利用API微調(diào)之外的有價值技術(shù)的手段，例如在更大范圍內(nèi)添加額外的超級參數(shù)和各種參數(shù)有效微調(diào)(PEFT)方法。

SK電信就是充分發(fā)揮這項服務(wù)潛力的一個例子。這家電信運(yùn)營商在韓國擁有超過3000萬用戶，因此他們希望定制一種可以充當(dāng)電信客戶服務(wù)專家的人工智能模型。

通過與OpenAI合作對GPT-4進(jìn)行微調(diào)，使其專注于韓國電信相關(guān)的對話，SK電信的對話摘要質(zhì)量提高了35%，意圖識別準(zhǔn)確率提高了33%。當(dāng)將他們的新微調(diào)模型與廣義GPT-4進(jìn)行比較時，他們的滿意度得分也從3.6提高到4.5(滿分5分)。

OpenAI還引入了為需要深度微調(diào)的特定領(lǐng)域知識模型的公司構(gòu)建定制模型的能力。與法律人工智能公司Harvey的合作證明了這一功能的價值。法律工作需要大量閱讀密集的文件，Harvey想用LLMs（大型語言模型）從這些文件中綜合信息，并將其提交給律師進(jìn)行審查。然而，許多法律是復(fù)雜的，并且依賴于上下文，Harvey希望與OpenAI合作建立一個定制訓(xùn)練的模型，該模型可以將新的知識和推理方法納入基本模型。

Harvey與OpenAI合作，添加了相當(dāng)于100億令牌的數(shù)據(jù)來定制訓(xùn)練這個判例法模型。通過增加必要的背景深度來做出明智的法律判斷，結(jié)果模型的事實(shí)性回答提高了83%。

人工智能工具從來都不是“包治百病”的解決方案?？啥ㄖ菩允沁@項技術(shù)有用性的核心，OpenAI在微調(diào)和定制訓(xùn)練模型方面的工作將有助于擴(kuò)展已經(jīng)從該工具中獲得的組織。