AI 工程師的三大關(guān)鍵趨勢包括：使用低代碼或無代碼工具構(gòu)建 AI 代理，以及結(jié)合 AI 模態(tài)。

譯自3 Key Trends for AI Engineering in the Cloud in 2024，作者 Dan Rowinski。

過去 20 年的創(chuàng)新為我們帶來了轉(zhuǎn)折點，創(chuàng)造了全新的工作類別。想想 2006 年 AWS 推出后云架構(gòu)師和開發(fā)人員的興起，iPhone 和 Android 興起后的移動開發(fā)人員，當(dāng)我們終于擁有足夠的數(shù)據(jù)和計算能力來使神經(jīng)網(wǎng)絡(luò)發(fā)揮作用時，機(jī)器學(xué)習(xí)工程師的出現(xiàn)，以及這三種趨勢融合后數(shù)據(jù)科學(xué)家的出現(xiàn)。

“如果你想在 18 個月前成為一名 AI 開發(fā)人員，你需要克服很大的障礙。[...] 現(xiàn)在我們已經(jīng)到了一個階段，只要有一個想法，你就可以在午餐時間實現(xiàn)它。”

– Simon Margolis，SADA 的 AI 和 ML 副 CTO

沿著這條演變路徑，我們可能已經(jīng)到達(dá)了另一個轉(zhuǎn)折點：AI 工程師。AI 工程師在過去幾年中開始流行，并且處于使用大型語言模型和相關(guān)工具來構(gòu)建生成式 AI 聊天機(jī)器人、代理和其他功能的最前沿。

隨著基礎(chǔ)模型和 AI 工程的成熟，一些趨勢開始出現(xiàn)。我們與Simon Margolis，SADA的 AI 和 ML 副 CTO（一家 Google Cloud 供應(yīng)商）進(jìn)行了交談，了解他們在當(dāng)前 AI 工程領(lǐng)域看到了什么，以及我們接下來可能會看到什么。

“這取決于你在生成式 AI 的整體采用曲線上處于什么位置，”Margolis 說。“有些人還在試用，剛開始接觸，而有些人早在 ChatGPT 成為家喻戶曉的名字之前就在做生成式 AI 工作。我認(rèn)為，人們在這個范圍內(nèi)的位置與他們的主要趨勢有很大關(guān)系?！?/p>

總的來說，Margolis 確定了 2024 年年中 AI 工程師的三個關(guān)鍵趨勢：1) 能夠使用低代碼或無代碼或技術(shù)知識構(gòu)建AI 代理；2) 結(jié)合 AI 模式，例如機(jī)器學(xué)習(xí)和生成式 AI；3) 使用生成式 AI 來幫助構(gòu)建生成式 AI 代理。

兩個主要的生成式 AI 平臺，Google Cloud 和 OpenAI，一直在努力讓 AI 工程師更容易構(gòu)建 AI 代理，而無需過多地關(guān)注基礎(chǔ)模型或向量數(shù)據(jù)庫本身。兩者都推出了構(gòu)建代理的工具，包括 Google Cloud 的Vertex AI中的 Agent Builder 和 OpenAI 的GPTs。

“在早期采用者方面，我們看到的一個最大增長點是能夠構(gòu)建生成式代理，而無需具備深厚的技術(shù)知識，”Margolis 說。“而兩年前，你需要對諸如 Transformer 和 RAG [檢索增強(qiáng)生成] 之類的東西非常了解，并且需要進(jìn)行大量深奧的技術(shù)工作?！?/p>

Margolis 指出，雖然在構(gòu)建代理方面存在一些邊緣玩家，但他主要只在野外看到了 Agent Builder 和 GPTs。

“有了像 Agent Builder 和 GPTs 這樣的東西，你不需要是 AI 工程師才能做到這一點。”

能夠使用較少的技術(shù)知識構(gòu)建代理的凈效應(yīng)是，將創(chuàng)建代理的想法，以及一些執(zhí)行工作，推向了業(yè)務(wù)線人員，而不是僅僅依賴開發(fā)人員。

“在高級別上，你從某個系統(tǒng)中獲取信息——一個專有系統(tǒng)、互聯(lián)網(wǎng)或它們的組合——然后使用它來告知一個 AI 工具、一個代理或某種類型的生成式助手，”Margolis 說?！斑@與我們一兩年前在 LangChain 中看到的模式相同，你擁有這些邏輯和推理循環(huán)，并且不斷增強(qiáng)輸出，直到它最終為你提供你想要的東西。它只是變得不那么微妙了?！?/p>

“有了像 Agent Builder 和 GPTs 這樣的東西，你不需要是 AI 工程師才能做到這一點。你可以是一個外行人來做到這一點。你可以使用純文本或 ClickOps 之類的東西來做到這一點。在解決方案空間方面，它更具可預(yù)測性?！?/p>

結(jié)合 AI 模式

將 AI 模式結(jié)合起來的想法可能對 AI 工程師更具實際意義。需要注意的是，當(dāng) Margolis 在這種情況下談?wù)撃Ｊ綍r，他指的是我們可能認(rèn)為的“傳統(tǒng)”機(jī)器學(xué)習(xí)，例如用于推理和預(yù)測的機(jī)器學(xué)習(xí)，以及基礎(chǔ)模型和生成式 AI 的更新模式之間的區(qū)別。這與生成式 AI 中的模式概念不同，在生成式 AI 中，輸入和輸出取決于媒體，例如文本、音頻、視頻或翻譯。

“以前你會看到有些人要么在生成式 AI 世界中玩耍，要么在更傳統(tǒng)的 ML 世界中玩耍，圍繞推理和預(yù)測之類的東西，現(xiàn)在你開始看到這兩種東西的融合。”

“這不是一個無代碼解決方案，而是一個相對低代碼的解決方案。我不是從頭開始構(gòu)建模型。我沒有用 TensorFlow 編寫代碼?！?/p>

Margolis 指出，這就是我們可以看到生成式 AI 的使用，而無需構(gòu)建特定的 AI 代理或聊天機(jī)器人。他以使用 AI 工具在醫(yī)療保健系統(tǒng)中呈現(xiàn)數(shù)據(jù)的例子為例，在醫(yī)療保健系統(tǒng)中，護(hù)士或醫(yī)生或管理員可能會輸入有關(guān)患者的多個數(shù)據(jù)字段，這些數(shù)據(jù)字段由生成式工具編寫。然后在同一個系統(tǒng)中，有 ML 工具帶有推理引擎，這些工具可能會說這是一個高風(fēng)險患者等等。

“幾年前，如果我想構(gòu)建一個像 [醫(yī)療保健示例] 這樣的應(yīng)用程序，我可能需要征求一些精通模型創(chuàng)建的 ML 同事，他們可能需要使用 JAX 或 TensorFlow 為我構(gòu)建一個傾向模型，”Margolis 說?！八麄兛赡苄枰嬲剡M(jìn)入物理 GPU。這需要大量的 ML 工程和數(shù)據(jù)科學(xué)工作。然后在生成方面，也許我可以直接將該輸出輸入到我最喜歡的生成模型的上下文窗口中。但這些是兩種截然不同的技能。”

Margolis 說，像 Google Cloud 的 Vertex 套件（SADA 是 Google Cloud 生成式 AI 的首選合作伙伴）這樣的工具可以幫助彌合機(jī)器學(xué)習(xí)工具和生成式 AI 工具之間的差距。

“現(xiàn)在同一個工程師可以去 Vertex 創(chuàng)建一個 AutoML 模型，”Margolis 說?！斑@不是一個無代碼解決方案，而是一個相對低代碼的解決方案。我不是從頭開始構(gòu)建模型。我沒有用 TensorFlow 編寫代碼。我沒有用 JAX 編寫代碼。我不處理 GPU。我不處理任何虛擬或系統(tǒng)組件?！?/span>

有關(guān)將生成式 AI 與結(jié)構(gòu)化數(shù)據(jù)結(jié)合使用的更多信息，Margolis 最近在 Medium 上發(fā)表了一篇關(guān)于該主題的有趣文章。

生成式 AI 幫助構(gòu)建生成式 AI

“進(jìn)入的門檻真的降低了，我認(rèn)為這對每個人都有好處?！?/p>

我們還沒有進(jìn)入一個計算機(jī)自主構(gòu)建自己的嬰兒計算機(jī)并編寫自己的代碼的世界。然而，AI 工程中一個有趣的發(fā)展是使用生成式 AI 來幫助構(gòu)建更多生成式 AI 代理、機(jī)器人和應(yīng)用程序。

“我認(rèn)為這是一個強(qiáng)大的模式，它使許多人能夠參與到這個領(lǐng)域，”Margolis 說。

他將這種趨勢比作過去 10-15 年的拐點，當(dāng)時開發(fā)人員可以輕松地在云中啟動虛擬機(jī)（大約在 2010 年），或者當(dāng)構(gòu)建移動應(yīng)用程序的門檻在 2014 年左右降低時。

“我覺得這和我們在公共云中遇到的‘哦，天哪’時刻一樣，當(dāng)時我們意識到，每個剛開始學(xué)習(xí)計算機(jī)科學(xué)或系統(tǒng)設(shè)計的學(xué)生，你知道，在 2010 年，突然之間就可以啟動服務(wù)器和數(shù)據(jù)庫，”Margolis 說。“如果你想在 18 個月前成為一名 AI 開發(fā)人員，你需要克服一個很大的障礙。要達(dá)到能夠真正實現(xiàn)你的想法的程度，需要做很多工作。現(xiàn)在我們已經(jīng)到了有了一個想法并實現(xiàn)它，你可能可以在午餐時間完成?！?/p>

“進(jìn)入的門檻真的降低了，我認(rèn)為這對每個人都有好處。”