微軟近日對其開發(fā)者工具進行了大量更新，試圖讓生成式AI開發(fā)者的工作更輕松。

軟件和云巨頭微軟表示，這些更新將有助于團隊構(gòu)建能力更強的、知識更豐富的AI模型，包括專門的Copilot，可以完成更廣泛的企業(yè)相關(guān)任務(wù)。這次微軟在Microsoft Build 2024上發(fā)布的公告還包括了對Microsoft Azure AI Search以及Azure OpenAI Service的一些重大增強，去年推出的Azure AI Studio平臺也全面上市。

最受生成式AI開發(fā)者歡迎的更新之一就是Microsoft Azure AI Search中的新搜索相關(guān)性功能。這是一個用于檢索增強生成（RAG）和企業(yè)搜索的數(shù)據(jù)檢索系統(tǒng)，使AI模型能夠利用客戶的私人數(shù)據(jù)。微軟在Build大會上宣布支持先進的搜索技術(shù)，包括混合搜索和重新排名，以及新服務(wù)提高了存儲容量以及增加了矢量索引大小，使用戶可以更輕松地擴展他們的生成式AI應(yīng)用。

微軟解釋說，這些增強功能將有助于為生成式AI模型返回相關(guān)性更高的搜索結(jié)果，從而提高響應(yīng)的準(zhǔn)確性。此外微軟還宣布了新的數(shù)據(jù)和處理集成，這得益于增加了內(nèi)置的圖像矢量化功能以幫助本機圖像搜索，以及集成了OneLake以幫助將Azure AI Search和Microsoft Fabric中的數(shù)據(jù)進行連接。

微軟在去年11月推出了Azure AI Studio的預(yù)覽版，為開發(fā)者提供了在一個地方創(chuàng)建一系列生成式AI體驗所需的一切。Azure AI Studio作為Azure OpenAI Service一個組成部分，有助于訪問廣泛的大型語言模型、RAG數(shù)據(jù)集成工具，以及智能搜索功能、全生命周期模型管理和AI安全工具。

Azure AI Studio現(xiàn)已全面上市，新增了一些強大的新功能，包括微軟所謂的“代碼優(yōu)先開發(fā)體驗”，是通過與Azure Developer CLI (azd)和AI Toolkit for Microsoft Visual Studio Code工具集成引入的。用戶在這個平臺上很快就能夠通過新模型即服務(wù)功能訪問最新的基礎(chǔ)模型，包括OpenAI目前最強大的LLM GPT-4o新模型。

微軟承諾，Azure OpenAI Service本身也增加了大量新功能，包括新的Assistants API，可以幫助開發(fā)者打造更高級的虛擬助手和聊天機器人，并且具有更細致的理解力和響應(yīng)能力。

參考架構(gòu)和定制的生成式AI模型

在AI開發(fā)方面，微軟發(fā)布了一系列參考架構(gòu)以及實施指南，幫助客戶設(shè)計和優(yōu)化的智能的AI應(yīng)用。微軟表示，這么做是為了讓開發(fā)團隊簡單地利用Azure模版和實踐作為一種藍圖，快速構(gòu)建更可靠的、更具成本效益和合規(guī)性的私有聊天機器人。

微軟表示，Azure OpenAI Service的參考架構(gòu)即將推出，可以幫助團隊快速啟動聊天機器人的開發(fā)工作。新的著陸區(qū)加速器旨在標(biāo)準(zhǔn)化和自動化支持這些應(yīng)用所需的云基礎(chǔ)設(shè)施部署。此外，開發(fā)者可以使用云指南和服務(wù)指南，后者提供了關(guān)于設(shè)置交付智能應(yīng)用的Azure服務(wù)的更精確說明。

此外微軟還宣布了一種名為“自定義生成”的新模型類型，即將推出預(yù)覽版，旨在讓客戶可以從單個文檔開始著手，該服務(wù)將指導(dǎo)他們完成架構(gòu)定義和模型創(chuàng)建的過程。

它的主要優(yōu)點是無需對數(shù)據(jù)進行大量標(biāo)記，因此用戶能夠以各種格式和模板向客戶生成式AI模型提供更復(fù)雜的文檔。微軟表示，通過使用大型語言模型提取相關(guān)數(shù)據(jù)字段，只有當(dāng)特定字段不正確時，用戶才需要更正模型的輸出。通過這種方法，模型就能夠隨著新樣本添加到訓(xùn)練數(shù)據(jù)集中而進行調(diào)整，從而不斷提高響應(yīng)的準(zhǔn)確性和相關(guān)性。

Phi-3-視覺

微軟通常是利用和OpenAI的密切合作關(guān)系，為開發(fā)者提供機會訪問最強大的大型語言模型。但同時微軟自己也啟動了一些項目，例如Phi系列，規(guī)模較小的大型語言模型，旨在支持筆記本電腦、智能手機和平板電腦等設(shè)備上的AI處理。Phi-3-vision現(xiàn)已推出預(yù)覽版，是該家族的最新型號。

這是一種新的多模式大型語言模型，旨在支持視覺、圖表、圖形和表格推理。換句話說，它可以理解所看到的內(nèi)容，無論是周圍世界的視圖、圖像還是各種文檔。微軟表示，它可以轉(zhuǎn)換輸入的圖像和文本并輸出響應(yīng)，解釋它所看到的內(nèi)容。

例如，用戶可以詢問有關(guān)圖表或特定圖像的問題，Phi-3-vision將做出準(zhǔn)確回答。該模型與Phi-3-small和Phi-3-medium一起作為Azure AI Studio模型即服務(wù)目錄的一部分提供給用戶。

Azure AI Speech

Azure AI Speech獲得了許多新的功能，用于構(gòu)建更高質(zhì)量的語音應(yīng)用，而且現(xiàn)在已經(jīng)開始提供預(yù)覽版。

其中包括一項新的語音分析功能，針對那些從音頻和視頻數(shù)據(jù)中提取洞察的模型，實現(xiàn)端到端的工作流程自動化。它集成了轉(zhuǎn)錄、摘要、語音識別、說話人分類、情感分析等功能，旨在處理客戶反饋、播客、呼叫中心錄音、采訪等內(nèi)容。

Azure AI Speech也將提供視頻配音功能。據(jù)微軟稱，這是一項新服務(wù)，可以把視頻文件翻譯成多種受支持的語言，幫助企業(yè)通過視頻內(nèi)容吸引全球觀眾。用戶可以通過上傳一個或一系列視頻來創(chuàng)建配音管道，Azure AI Speech可以自動把內(nèi)容翻譯成所選語言。

AI安全更新

AI安全始終是一個重要主題，微軟通過更新Azure AI Content Safety產(chǎn)品展示了自己對AI安全的重視。

其中的新功能包括自定義類別，可以用于為生成式AI應(yīng)用創(chuàng)建自定義的過濾器，因此開發(fā)者就可以根據(jù)企業(yè)負責(zé)任的AI政策過濾輸出內(nèi)容。微軟表示，它將幫助用戶開發(fā)出一種更精確的、相關(guān)性更高的內(nèi)容安全方法，提供標(biāo)準(zhǔn)部署和快速部署選項，后者適用于需要在一小時內(nèi)快速解決的事件。

Microsoft Azure OpenAI Service中提供的Prompt Shields，以及AI Studio and OpenAI Service中的Groundedness Detection功能，為大型語言模型提供了額外的內(nèi)容過濾工具。微軟表示，這些工具旨在緩解惡意提示注入攻擊方面的“關(guān)鍵進展”（在這種攻擊事件中攻擊者的目的是操縱生成式AI模型），以便他們產(chǎn)生“幻覺”，生成錯誤或不準(zhǔn)確的響應(yīng)。

針對教育領(lǐng)域的生成式AI

最后微軟表示，正在和非營利教育組織Khan Academy合作，探索生成式AI在教育領(lǐng)域的潛力。

微軟的合作伙伴正在計劃做一些有趣的事情。例如，微軟向所有美國K-12教育工作者免費提供Khanmigo for Teachers，一款A(yù)I驅(qū)動的教學(xué)助手，可以幫助教師騰出時間與學(xué)生互動。除了提供對該服務(wù)的免費訪問之外，微軟還提供了額外的Azure資源，以確保它可以擴展以支持預(yù)期的新用戶涌入。

與此同時，可汗學(xué)院表示，它正在與微軟合作，探索生成式人工智能如何利用最新版本的 Phi-3 來改善數(shù)學(xué)輔導(dǎo)，Phi-3 正在非營利組織的私人教育內(nèi)容上接受培訓(xùn)。