AWS宣布其ML平臺(tái)SageMaker的九項(xiàng)主要更新
譯文【51CTO.com快譯】
亞馬遜網(wǎng)絡(luò)服務(wù)(AWS)宣布了其基于云的機(jī)器學(xué)習(xí)平臺(tái)SageMaker的九個(gè)主要新更新。
SageMaker旨在提供一種機(jī)器學(xué)習(xí)服務(wù),該服務(wù)可用于構(gòu)建,訓(xùn)練和部署幾乎所有用例的ML模型。
在今年的re:Invent會(huì)議上,AWS發(fā)布了幾條公告,以進(jìn)一步提高SageMaker的功能。
AWS亞馬遜機(jī)器學(xué)習(xí)副總裁Swami Sivasubramanian說(shuō):
“成千上萬(wàn)的日常開(kāi)發(fā)人員和數(shù)據(jù)科學(xué)家已經(jīng)使用我們行業(yè)領(lǐng)先的機(jī)器學(xué)習(xí)服務(wù)Amazon SageMaker消除了構(gòu)建,訓(xùn)練和部署自定義機(jī)器學(xué)習(xí)模型的障礙。擁有像SageMaker這樣的被廣泛采用的服務(wù)
的最好的部分之一就是,我們得到了大量的客戶建議,這些建議推動(dòng)了我們下一批可交付成果的發(fā)展。
今天,我們宣布了一套適用于Amazon SageMaker的工具,使開(kāi)發(fā)人員可以更輕松地構(gòu)建端到端機(jī)器學(xué)習(xí)管道,以準(zhǔn)備,構(gòu)建,訓(xùn)練,解釋,檢查,監(jiān)視,調(diào)試和運(yùn)行自定義機(jī)器學(xué)習(xí)模型具有更大
的可見(jiàn)性,可解釋性和大規(guī)模的自動(dòng)化。”
第一個(gè)公告是Data Wrangler,該功能旨在自動(dòng)為機(jī)器學(xué)習(xí)準(zhǔn)備數(shù)據(jù)。
Data Wrangler使客戶可以從各種數(shù)據(jù)存儲(chǔ)中選擇所需的數(shù)據(jù),然后單擊即可導(dǎo)入。包括300多個(gè)內(nèi)置數(shù)據(jù)轉(zhuǎn)換器,可幫助客戶在無(wú)需編寫任何代碼的情況下對(duì)功能進(jìn)行標(biāo)準(zhǔn)化,轉(zhuǎn)換和組合。
德勤AI生態(tài)系統(tǒng)和平臺(tái)負(fù)責(zé)人負(fù)責(zé)人Frank Farrall評(píng)論:
“ SageMaker Data Wrangler使我們能夠利用豐富的轉(zhuǎn)換工具來(lái)開(kāi)創(chuàng)性地滿足我們的數(shù)據(jù)準(zhǔn)備需求,這些轉(zhuǎn)換工具可加速將新產(chǎn)品推向市場(chǎng)所需的機(jī)器學(xué)習(xí)數(shù)據(jù)準(zhǔn)備過(guò)程。
反過(guò)來(lái),我們的客戶可以從我們擴(kuò)展部署的速度中受益,這使我們能夠在幾天而不是幾個(gè)月的時(shí)間內(nèi)提供可衡量的,可持續(xù)的結(jié)果,以滿足客戶的需求。”
第二個(gè)公告是Feature Store。Amazon SageMaker Feature Store提供了一個(gè)新的存儲(chǔ)庫(kù),可輕松存儲(chǔ),更新,檢索和共享機(jī)器學(xué)習(xí)功能以進(jìn)行培訓(xùn)和推理。
Feature Store旨在克服存儲(chǔ)映射到多個(gè)模型的要素的問(wèn)題。專用功能庫(kù)可幫助開(kāi)發(fā)人員訪問(wèn)和共享功能,從而使開(kāi)發(fā)人員和數(shù)據(jù)科學(xué)家團(tuán)隊(duì)之間更容易命名,組織,查找和共享功能集。由于它位于
SageMaker Studio中-靠近運(yùn)行ML模型的地方-AWS聲稱它提供了一位數(shù)毫秒的推理延遲。
Intuit數(shù)據(jù)平臺(tái)工程副總裁Mammad Zadeh說(shuō):
“在發(fā)布Amazon SageMaker Feature Store之前,我們與AWS緊密合作,我們對(duì)完全托管的功能存儲(chǔ)的前景感到興奮,因此我們不再需要在組織內(nèi)維護(hù)多個(gè)功能存儲(chǔ)庫(kù)。
我們的數(shù)據(jù)科學(xué)家將能夠使用中央存儲(chǔ)中的現(xiàn)有功能,并推動(dòng)團(tuán)隊(duì)和模型之間功能的標(biāo)準(zhǔn)化和重復(fù)使用。”
接下來(lái),我們有SageMaker Pipelines,它聲稱是針對(duì)機(jī)器學(xué)習(xí)的第一個(gè)專門構(gòu)建的,易于使用的持續(xù)集成和持續(xù)交付(CI / CD)服務(wù)。
開(kāi)發(fā)人員可以定義端到端機(jī)器學(xué)習(xí)工作流程的每個(gè)步驟,包括數(shù)據(jù)加載步驟,Amazon SageMaker Data Wrangler的轉(zhuǎn)換,Amazon SageMaker Feature Store中存儲(chǔ)的功能,培訓(xùn)配置和算法設(shè)置,
調(diào)試步驟以及優(yōu)化步驟。 。
考慮到正在進(jìn)行的事件, SageMaker Clarify可能是AWS本周最重要的功能之一。
Clarify旨在在整個(gè)機(jī)器學(xué)習(xí)工作流程中提供偏差檢測(cè),使開(kāi)發(fā)人員能夠在其ML模型中建立更大的公平性和透明度。開(kāi)發(fā)人員可以使用集成的解決方案快速嘗試并應(yīng)對(duì)模型中的任何偏差,而不必使用
通常耗時(shí)的開(kāi)源工具。
DFL集團(tuán)數(shù)字創(chuàng)新執(zhí)行副總裁Andreas Heyden說(shuō):
“ Amazon SageMaker Clarify無(wú)縫地與德甲Match Facts數(shù)字平臺(tái)的其余部分無(wú)縫集成,并且是我們?cè)贏mazon SageMaker上標(biāo)準(zhǔn)化機(jī)器學(xué)習(xí)工作流程的長(zhǎng)期戰(zhàn)略的關(guān)鍵部分。
通過(guò)使用AWS的創(chuàng)新技術(shù)(例如機(jī)器學(xué)習(xí))來(lái)提供更深入的見(jiàn)解,并為球迷提供對(duì)在球場(chǎng)上瞬間做出的決策的更好理解,德甲比賽實(shí)況使觀眾能夠深入了解關(guān)鍵決策。每場(chǎng)比賽。”
適用于Amazon SageMaker的Deep Profiling自動(dòng)監(jiān)視系統(tǒng)資源利用率,并在任何檢測(cè)到的培訓(xùn)瓶頸需要的地方提供警報(bào)。該功能可跨框架(PyTorch,Apache MXNet和TensorFlow)使用,并自動(dòng)收
集系統(tǒng)和培訓(xùn)指標(biāo),而無(wú)需在培訓(xùn)腳本中進(jìn)行任何代碼更改。
下一步,我們對(duì)SageMaker進(jìn)行了分布式培訓(xùn),AWS聲稱它使培訓(xùn)大型,復(fù)雜的深度學(xué)習(xí)模型成為可能,其速度比當(dāng)前方法快兩倍。
Turbine的首席技術(shù)官KristófSzalay評(píng)論:
“我們使用機(jī)器學(xué)習(xí)來(lái)訓(xùn)練基于專有網(wǎng)絡(luò)架構(gòu)的計(jì)算機(jī)模擬人體細(xì)胞模型,稱為模擬細(xì)胞。通過(guò)在分子水平上準(zhǔn)確預(yù)測(cè)各種干預(yù)措施,Simulated Cell可以幫助我們發(fā)現(xiàn)新的癌癥藥物并找到現(xiàn)有療法的
組合伙伴。
模擬培訓(xùn)是我們不斷重復(fù)的工作,但是在一臺(tái)機(jī)器上,每次培訓(xùn)都需要幾天的時(shí)間,因此阻礙了我們快速迭代新思想的能力。
我們對(duì)Amazon SageMaker上的分布式培訓(xùn)感到非常興奮,我們希望將其培訓(xùn)時(shí)間減少90%,并幫助我們專注于我們的主要任務(wù):編寫用于單元模型培訓(xùn)的同類最佳代碼庫(kù)。
最終,Amazon SageMaker可以使我們?cè)谥饕蝿?wù)中變得更加有效:為患者識(shí)別和開(kāi)發(fā)新的抗癌藥物。”
SageMaker的數(shù)據(jù)并行引擎通過(guò)自動(dòng)在多個(gè)GPU之間分割數(shù)據(jù),將培訓(xùn)工作從單個(gè)GPU擴(kuò)展到成百上千個(gè),從而將培訓(xùn)時(shí)間縮短了40%。
隨著邊緣計(jì)算的進(jìn)步迅速增加,AWS與SageMaker Edge Manager保持同步。
Edge Manager幫助開(kāi)發(fā)人員優(yōu)化,保護(hù),監(jiān)視和維護(hù)部署在邊緣設(shè)備群上的ML模型。除了幫助優(yōu)化ML模型和管理邊緣設(shè)備外,Edge Manager還提供了對(duì)模型進(jìn)行加密簽名,將預(yù)測(cè)數(shù)據(jù)從設(shè)備上
載到SageMaker進(jìn)行監(jiān)視和分析的功能,以及查看可跟蹤并提供有關(guān)運(yùn)行情況的可視化報(bào)告的儀表板的功能。 SageMaker控制臺(tái)中已部署的模型。
聯(lián)想個(gè)人電腦和智能設(shè)備云與軟件副總裁Igor Bergman評(píng)論:
“ SageMaker Edge Manager將幫助消除部署后優(yōu)化,監(jiān)控和持續(xù)改進(jìn)模型所需的手動(dòng)工作。有了它,我們預(yù)計(jì)我們的模型將比其他類似的機(jī)器學(xué)習(xí)平臺(tái)運(yùn)行得更快,消耗的內(nèi)存更少。
隨著我們將AI擴(kuò)展到整個(gè)Lenovo服務(wù)產(chǎn)品組合的新應(yīng)用程序中,我們將繼續(xù)需要高性能的管道,該管道在云和數(shù)百萬(wàn)個(gè)邊緣設(shè)備上都具有靈活性和可擴(kuò)展性。這就是為什么我們選擇Amazon
SageMaker平臺(tái)。憑借其豐富的邊緣到云和CI / CD工作流功能,我們可以有效地將機(jī)器學(xué)習(xí)模型帶入任何設(shè)備工作流,以提高生產(chǎn)率。”
最后,SageMaker JumpStart旨在使對(duì)機(jī)器學(xué)習(xí)部署經(jīng)驗(yàn)不足的開(kāi)發(fā)人員更容易上手。
JumpStart為開(kāi)發(fā)人員提供了易于使用的可搜索界面,以查找同類最佳的解決方案,算法和示例筆記本。開(kāi)發(fā)人員可以從幾個(gè)端到端的機(jī)器學(xué)習(xí)模板(例如欺詐檢測(cè),客戶流失預(yù)測(cè)或預(yù)測(cè))中進(jìn)行選
擇,并將其直接部署到他們的SageMaker Studio環(huán)境中。
AWS一直在進(jìn)行SageMaker改進(jìn),在過(guò)去的一年中提供了50多種新功能。保險(xiǎn)杠功能下降之后,我們可能不應(yīng)該再期待2020年了。
【51CTO譯稿,合作站點(diǎn)轉(zhuǎn)載請(qǐng)注明原文譯者和出處為51CTO.com】