[[418732]]

機(jī)器學(xué)習(xí)徹底改變了人們使用數(shù)據(jù)以及與數(shù)據(jù)交互的方式，提升了商業(yè)效率，從根本上改變了廣告業(yè)的格局，全面變革了醫(yī)療健康技術(shù)。但是，機(jī)器學(xué)習(xí)若要繼續(xù)擴(kuò)大其影響力和影響范圍，開(kāi)發(fā) pipeline 必 須得到改進(jìn)。通過(guò)將數(shù)據(jù)庫(kù)系統(tǒng)、分布式計(jì)算和應(yīng)用部署等領(lǐng)域數(shù)十年的工作引入機(jī)器學(xué)習(xí)領(lǐng)域，機(jī)器學(xué)習(xí)系統(tǒng)研究可以滿(mǎn)足這一需求。此外，通過(guò)充分利用模型并行以及改進(jìn)舊有解決方案，我們可以利用系統(tǒng)的重新設(shè)計(jì)來(lái)改進(jìn)機(jī)器學(xué)習(xí)。

過(guò)去十年，機(jī)器學(xué)習(xí)（ML）已經(jīng)成為各種領(lǐng)域中無(wú)數(shù)應(yīng)用和服務(wù)的重要組成部分。得益于機(jī)器學(xué)習(xí)的快速發(fā)展，從醫(yī)療健康到自動(dòng)駕駛等諸多領(lǐng)域已經(jīng)出現(xiàn)了深刻的變革。

機(jī)器學(xué)習(xí)在實(shí)際應(yīng)用中日益增加的重要性使人們開(kāi)始關(guān)注一個(gè)專(zhuān)注于「實(shí)踐中機(jī)器學(xué)習(xí)」的新領(lǐng)域，即機(jī)器學(xué)習(xí)系統(tǒng)（或簡(jiǎn)稱(chēng) MLOps）。該領(lǐng)域連通計(jì)算機(jī)系統(tǒng)和機(jī)器學(xué)習(xí)，并從傳統(tǒng)系統(tǒng)研究的視角考慮機(jī)器學(xué)習(xí)的新挑戰(zhàn)。

那么機(jī)器學(xué)習(xí)的挑戰(zhàn)究竟有哪些呢？加州大學(xué)圣地亞哥分校博士生 Kabir Nagrecha 使用 D. Sculley 2015 年的論文《 Hidden Technical Debt in Machine Learning Systems 》中提出的架構(gòu)，來(lái)描述典型 ML 系統(tǒng)中的問(wèn)題并一一分解其組件。

D. Sculley 論文中的 ML 系統(tǒng)架構(gòu)，圖源：https://papers.nips.cc/paper/2015/file/86df7dcfd896fcaf2674f757a2463eba-Paper.pdf

Kabir Nagrecha 重點(diǎn)分析了數(shù)據(jù)收集、驗(yàn)證和服務(wù)任務(wù)中的挑戰(zhàn)，并探討了模型訓(xùn)練中的一些問(wèn)題，這是因?yàn)榻陙?lái)模型訓(xùn)練已經(jīng)成為系統(tǒng)開(kāi)發(fā)中成本越來(lái)越高昂的部分。

接下來(lái)我們進(jìn)行一一分析。

數(shù)據(jù)收集

雖然學(xué)界研究者對(duì) CIFAR 或 SQuAD 等隨時(shí)可用的數(shù)據(jù)集感到滿(mǎn)意，但業(yè)界從業(yè)者往往需要在模型訓(xùn)練中手動(dòng)標(biāo)注并生成自定義數(shù)據(jù)集。但是，創(chuàng)建這類(lèi)數(shù)據(jù)集，尤其是需要領(lǐng)域知識(shí)時(shí)，需要的成本可能非常高昂。

因此，這成為了 ML 系統(tǒng)開(kāi)發(fā)者面臨的一個(gè)主要挑戰(zhàn)。

如何解決呢？該問(wèn)題最成功的解決方案之一是借鑒系統(tǒng)與機(jī)器學(xué)習(xí)領(lǐng)域的研究。比如，通過(guò)結(jié)合數(shù)據(jù)管理技術(shù)與自監(jiān)督學(xué)習(xí)工作，斯坦福大學(xué)研究者在 2017 年的論文《 Snorkel: Rapid Training Data Creation with Weak Supervision 》中提出了一種弱監(jiān)督的數(shù)據(jù)編程方法。

他們提出的 SnorkelAI 將數(shù)據(jù)集創(chuàng)建視作一個(gè)編程問(wèn)題，其中用戶(hù)可以為弱監(jiān)督標(biāo)注指定函數(shù)，然后通過(guò)組合和加權(quán)操作以生成高質(zhì)量的標(biāo)簽。這樣一來(lái)，專(zhuān)家標(biāo)注的高質(zhì)量數(shù)據(jù)和自動(dòng)標(biāo)注的低質(zhì)量數(shù)據(jù)可以進(jìn)行融合和跟蹤以確保模型訓(xùn)練實(shí)現(xiàn)準(zhǔn)確加權(quán)，從而充分考慮到不同級(jí)別的標(biāo)簽質(zhì)量。

SnorkelAI 結(jié)合了不同來(lái)源的標(biāo)簽，以允許模型大規(guī)模地聚合和改進(jìn)混合質(zhì)量的標(biāo)簽。圖源：https://arxiv.org/pdf/1711.10160.pdf

這種方法令人聯(lián)想到數(shù)據(jù)庫(kù)管理系統(tǒng)的數(shù)據(jù)融合，將其應(yīng)用到機(jī)器學(xué)習(xí)是一個(gè)支點(diǎn)和再設(shè)計(jì)，而不是僅僅針對(duì) ML 的革命性創(chuàng)造。通過(guò)確認(rèn)系統(tǒng)和 ML 領(lǐng)域的共有問(wèn)題，并結(jié)合數(shù)據(jù)來(lái)源，傳統(tǒng)的系統(tǒng)技術(shù)可以應(yīng)用于機(jī)器學(xué)習(xí)設(shè)置中。

數(shù)據(jù)驗(yàn)證

數(shù)據(jù)驗(yàn)證是數(shù)據(jù)收集的后續(xù)操作。數(shù)據(jù)質(zhì)量是機(jī)器學(xué)習(xí) pipeline 中的關(guān)鍵問(wèn)題。維護(hù)者如果想要為自己的系統(tǒng)生成高質(zhì)量模型，則必須保證輸入的數(shù)據(jù)也是高質(zhì)量的。

調(diào)整機(jī)器學(xué)習(xí)方法并不能輕易地解決這一問(wèn)題，因而需要對(duì) ML 系統(tǒng)進(jìn)行調(diào)整。幸運(yùn)的是，雖然機(jī)器學(xué)習(xí)的數(shù)據(jù)驗(yàn)證是一個(gè)新問(wèn)題，但數(shù)據(jù)驗(yàn)證不是。

引用 TensorFlow 數(shù)據(jù)驗(yàn)證（TFDV）相關(guān)論文《 Data Validation for Machine Learning 》中的表述：

數(shù)據(jù)驗(yàn)證既不是一個(gè)新問(wèn)題，也不是機(jī)器學(xué)習(xí)獨(dú)有的，所以我們可以借鑒數(shù)據(jù)庫(kù)系統(tǒng)等相關(guān)領(lǐng)域中的解決方案。但是，我們認(rèn)為數(shù)據(jù)驗(yàn)證在機(jī)器學(xué)習(xí)場(chǎng)景中面臨著獨(dú)特的挑戰(zhàn)，因而需要重新思考現(xiàn)有解決方案。

再一次，通過(guò)確認(rèn)機(jī)器學(xué)習(xí)系統(tǒng)和傳統(tǒng)計(jì)算機(jī)系統(tǒng)之間的并行挑戰(zhàn)，我們可以通過(guò)一些機(jī)器學(xué)習(xí)導(dǎo)向的修改來(lái)重新利用現(xiàn)有解決方案。

TFDV 的解決方案使用了數(shù)據(jù)管理系統(tǒng)中久經(jīng)驗(yàn)證的解決方案——schemas。一個(gè)數(shù)據(jù)庫(kù)強(qiáng)制執(zhí)行屬性以確保數(shù)據(jù)輸入和更新遵循指定的格式。同樣地，TFDV 的數(shù)據(jù)模式系統(tǒng)也對(duì)輸入至模型的數(shù)據(jù)強(qiáng)制執(zhí)行一些規(guī)則。

TFDV 的用于 ML 數(shù)據(jù)驗(yàn)證的模式系統(tǒng)使用戶(hù)可以避免生成系統(tǒng)中數(shù)據(jù)饋送的異常現(xiàn)象。圖源：https://mlsys.org/Conferences/2019/doc/2019/167.pdf

當(dāng)然會(huì)有一些不同的地方，反映出了機(jī)器學(xué)習(xí)系統(tǒng)與傳統(tǒng)范式的區(qū)別。ML 模式不僅需要與時(shí)俱進(jìn)和實(shí)時(shí)調(diào)整以適應(yīng)分布變化，而且需要考慮系統(tǒng)生命周期中模型自身可能出現(xiàn)的變化。

模型訓(xùn)練

ML 從業(yè)者可能感到驚訝的是將模型訓(xùn)練作為系統(tǒng)優(yōu)化的一個(gè)領(lǐng)域。畢竟，如果機(jī)器學(xué)習(xí)應(yīng)用中有一個(gè)領(lǐng)域真正依賴(lài) ML 技術(shù)，那就是訓(xùn)練。但即使這樣，系統(tǒng)研究依然可以發(fā)揮作用。

以模型并行化為例，隨著 Transformer 崛起，各種應(yīng)用 ML 領(lǐng)域在模型尺寸方面都出現(xiàn)了顯著增加。幾年前，BERT-Large 模型的參數(shù)達(dá)到了 3.45 億，現(xiàn)在 Megatron-LM 增加到了 1 萬(wàn)億以上。

這些模型的內(nèi)存成本已經(jīng)達(dá)到了數(shù)百 GB，沒(méi)有一個(gè) GPU 可以 hold 它們。傳統(tǒng)解決方案——模型并行化采用了一種相對(duì)簡(jiǎn)單的方法，即在不同的設(shè)備上對(duì)模型進(jìn)行劃分以分配相應(yīng)的內(nèi)存成本。

傳統(tǒng)模型并行化受到神經(jīng)網(wǎng)絡(luò)架構(gòu)序列性的影響。高效的并行化計(jì)算機(jī)會(huì)是有限的。

但是，這種技術(shù)也存在問(wèn)題，即模型本質(zhì)上是連續(xù)的，并且訓(xùn)練模型需要在層間前向和后向地傳遞數(shù)據(jù)。因此，每次只能使用一個(gè)層和一個(gè)設(shè)備。這種情況將導(dǎo)致設(shè)備利用嚴(yán)重不足。

系統(tǒng)研究如何發(fā)揮助力作用呢？

以一個(gè)深度神經(jīng)網(wǎng)絡(luò)為例，如果將其分解為最小的組件，則它可以被視為一系列轉(zhuǎn)換數(shù)據(jù)的算子。簡(jiǎn)單地訓(xùn)練意味著這樣一個(gè)過(guò)程：通過(guò)算子傳遞數(shù)據(jù)，產(chǎn)生梯度，再次通過(guò)算子將梯度反饋回來(lái)，最后更新算子。

在這個(gè)層次分解之后，模型開(kāi)始類(lèi)似于其他階段式操作，比如 CPU 的指令 pipeline。谷歌于 2019 年在論文《 GPipe: Easy Scaling with Micro-Batch Pipeline Parallelism 》中提出的 GPipe 系統(tǒng)和分布式任務(wù)處理系統(tǒng) Hydra 試圖通過(guò)這種 CPU 并行指令將系統(tǒng)優(yōu)化應(yīng)用于可擴(kuò)展性和并行性實(shí)現(xiàn)。

其中，GPipe 系統(tǒng)通過(guò)這種 CPU 并行指令將模型訓(xùn)練轉(zhuǎn)變成了一個(gè) pipeline 問(wèn)題。模型的每個(gè)分區(qū)都被視為一個(gè) pipe 的不同階段，并且 mini-batch 通過(guò)分區(qū)進(jìn)行分級(jí)以實(shí)現(xiàn)利用效果最大化。

序列模型并行化中的 SOTA——pipeline 并行化可以并行處理 mini-batch 的訓(xùn)練。但是，同步開(kāi)銷(xiāo)非常高，尤其是在前向和后向傳遞的轉(zhuǎn)換過(guò)程中。

但是請(qǐng)注意，反向傳播通過(guò)相反的順序復(fù)用這些階段。這意味著：在前向 pipeline 完全暢通之前，反向傳播無(wú)法啟動(dòng)。即便如此，這種技術(shù)可以將模型并行訓(xùn)練加速至一個(gè)很好的水平，在 8 個(gè) GPU 時(shí)速度提升 5 倍。

Hydra 則采用了另外一種方法，它將可擴(kuò)展性和并行性分割為兩個(gè)不同的步驟。數(shù)據(jù)庫(kù)管理系統(tǒng)中的一個(gè)常見(jiàn)概念是溢出（spilling），多余數(shù)據(jù)被發(fā)送至內(nèi)存層級(jí)結(jié)構(gòu)的較低層次。Hydra 充分利用模型并行中的序列計(jì)算，并觀察到不活躍的模型分區(qū)不需要在 CPU 上處理。相反，Hydra 將不需要的數(shù)據(jù)溢出至 DRAM，在 GPU 上間斷性地切換模型分區(qū)，以模擬傳統(tǒng)的模型并行執(zhí)行。

Hydra 的模型溢出技術(shù)將深度學(xué)習(xí)訓(xùn)練的成本轉(zhuǎn)移至 DRAM 而不是 GPU 內(nèi)存，同時(shí)保持了 GPU 執(zhí)行的加速優(yōu)勢(shì)。

這樣一來(lái)，一次只使用一個(gè) GPU 就可以訓(xùn)練模型。因此，在頂端引入一定程度的任務(wù)并行性很簡(jiǎn)單。每個(gè)模型，無(wú)論它的大小如何，一次只需要一個(gè) GPU，這樣系統(tǒng)可以充分利用每個(gè) GPU。在 8 個(gè) GPU 時(shí)可以實(shí)現(xiàn) 7.4 倍以上的近乎最優(yōu)加速。

但是，模型并行只是系統(tǒng)研究為模型訓(xùn)練所能帶來(lái)的開(kāi)始，其他有潛力的貢獻(xiàn)包括數(shù)據(jù)并行（如 PyTorch DDP）、模型選擇（如 Cerebro 或模型選擇管理系統(tǒng)）、分布式執(zhí)行框架（Spark 或 Ray）等。模型訓(xùn)練是系統(tǒng)研究?jī)?yōu)化的成熟領(lǐng)域。

模型服務(wù)

歸根結(jié)底，構(gòu)建機(jī)器學(xué)習(xí)模型最終是為了使用。模型服務(wù)與預(yù)測(cè)是最重要的機(jī)器學(xué)習(xí)實(shí)踐領(lǐng)域之一，也是系統(tǒng)研究產(chǎn)生最大影響的領(lǐng)域之一。

預(yù)測(cè)可以劃分為兩個(gè)主要設(shè)置：離線部署和在線部署：

• 離線部署相對(duì)更加直接，它涉及到單一的、不定期運(yùn)行的大批量預(yù)測(cè)工作。常見(jiàn)的設(shè)置包含商業(yè)智能、保險(xiǎn)評(píng)估和醫(yī)療健康分析；
• 在線部署屬于網(wǎng)絡(luò)應(yīng)用，如果用戶(hù)想要自己的查詢(xún)得到快速響應(yīng)，則需要快速、低延遲的預(yù)測(cè)。

離線部署和在線部署具有各自的需求和要求。通常來(lái)說(shuō)，離線部署需要高通量的訓(xùn)練過(guò)程以快速瀏覽大量的示例，在線部署在單一預(yù)測(cè)上需要極快的周轉(zhuǎn)時(shí)間，而不是一次進(jìn)行多個(gè)預(yù)測(cè)。

系統(tǒng)研究已經(jīng)重新塑造了處理離線和在線部署任務(wù)的方式。以加州大學(xué)圣地亞哥分校的研究者在論文《 Incremental and Approximate Computations for Accelerating Deep CNN Inference 》中提出的 Krypton 工具為例，它將視頻分析重新視作一項(xiàng)「多查詢(xún)優(yōu)化任務(wù)（multi-query optimization, MQO）」任務(wù)。

MQO 不是一個(gè)新的領(lǐng)域，它是數(shù)十年來(lái)關(guān)系數(shù)據(jù)庫(kù)設(shè)計(jì)的一部分。總體思路很簡(jiǎn)單：不同的查詢(xún)可能共享相關(guān)組件，然后可以保存和復(fù)用這些組件。Krypton 工具觀察到，CNN 推理通常是在批量相關(guān)圖像上完成，比如在視頻分析中。

一般來(lái)說(shuō)，視頻是以高幀率生成，這樣一來(lái)，相鄰幀往往相對(duì)一致。幀 1 中的大部分信息依然出現(xiàn)在幀 2 中。這種情況與 MQO 明顯相同，即一系列任務(wù)之間共享信息。

Krypton 在第一幀上運(yùn)行常規(guī)推理，然后具象或保存 CNN 在預(yù)測(cè)過(guò)程中產(chǎn)生的中間數(shù)據(jù)。隨后的圖像與第一幀進(jìn)行比較以確定圖像中的哪些 patch 產(chǎn)生的變化足以值得重新計(jì)算。一旦確定了 patch，Krypton 通過(guò) CNN 計(jì)算 patch 的「變化域」，以確定模型整個(gè)狀態(tài)中哪些神經(jīng)元輸出發(fā)生了變化。這些神經(jīng)元會(huì)根據(jù)變化的數(shù)據(jù)重新運(yùn)行，其余的數(shù)據(jù)只需要從基礎(chǔ)幀中復(fù)用即可。

結(jié)果就是在推理負(fù)載上實(shí)現(xiàn) 4 倍以上的端到端加速，并且過(guò)期數(shù)據(jù)只有很小的準(zhǔn)確率損失。這種運(yùn)行時(shí)改進(jìn)對(duì)于安全錄像視頻分析等長(zhǎng)時(shí)間運(yùn)行的流媒體應(yīng)用來(lái)說(shuō)至關(guān)重要。

Krypton 并不是唯一一個(gè)專(zhuān)注于模型推理的工具。加州大學(xué)伯克利分校的研究者在論文《 Clipper: A Low-Latency Online Prediction Serving System 》中提出的 Clipper 和 TensorFlow Extended 等其他工具利用系統(tǒng)優(yōu)化和模型管理技術(shù)提供高效和魯棒的預(yù)測(cè)，從而解決了同樣的高效預(yù)測(cè)服務(wù)問(wèn)題。