在 2023 年 PyTorch 大會(huì)上，一個(gè)深受大家關(guān)心的推理問題得到了很好的解決，會(huì)上宣布了一個(gè)用于在邊緣和移動(dòng)設(shè)備上實(shí)現(xiàn) AI 推理的解決方案：ExecuTorch，并且還是開源的，而促成這一研究的，正是 Meta AI 與 PyTorch 基金會(huì)。

ExecuTorch 地址：https://github.com/pytorch/executorch

學(xué)習(xí)文檔：https://pytorch.org/executorch/stable/index.html

隨著 ExecuTorch 的開源，預(yù)示著 AI 應(yīng)用程序在設(shè)備上本地運(yùn)行、而需連接到服務(wù)器或云成為可能。我們可以將 ExecuTorch 理解成一個(gè) PyTorch 平臺(tái)，其能提供基礎(chǔ)設(shè)施來(lái)運(yùn)行 PyTorch 程序，從 AR/VR 可穿戴設(shè)備到標(biāo)準(zhǔn)的 iOS 和 Android 設(shè)備的移動(dòng)部署。

ExecuTorch 最大優(yōu)勢(shì)是可移植性，能夠在移動(dòng)和嵌入式設(shè)備上運(yùn)行。不僅如此，ExecuTorch 還可以提高開發(fā)人員的工作效率。

據(jù)了解，Meta 已經(jīng)驗(yàn)證了這項(xiàng)技術(shù)，并將其用于最新一代的雷朋智能眼鏡，而這款眼鏡也是 Meta 最近發(fā)布的 Quest 3 VR 頭顯的一部分。Meta 表示，作為開源 PyTorch 項(xiàng)目的一部分，他們旨在進(jìn)一步推動(dòng)該技術(shù)的研究，從而邁入在設(shè)備上實(shí)現(xiàn) AI 推理的新時(shí)代。

Facebook 創(chuàng)始人、Meta 董事長(zhǎng)兼首席執(zhí)行官扎克伯格表示：「作為開源 AI 工作的一部分，我們與 PyTorch 基金會(huì)及其行業(yè)合作伙伴一起開源了 ExecuTorch。這一變化預(yù)示著將 PyTorch 引入了手機(jī)和可穿戴設(shè)備等邊緣計(jì)算平臺(tái)。ExecuTorch 使 AI 模型能夠直接在設(shè)備上運(yùn)行，而無(wú)需連接到服務(wù)器。」

Meta 軟件工程師 Mergen Nachin 指出，「今天的 AI 模型正在從服務(wù)器擴(kuò)展到邊緣設(shè)備，如移動(dòng)設(shè)備、AR、VR 和 AR 頭顯、可穿戴設(shè)備、嵌入式系統(tǒng)等。ExecuTorch 通過提供端到端的工作流來(lái)優(yōu)化本地程序，從而解決邊緣設(shè)備遇到的挑戰(zhàn)。」

ExecuTorch 關(guān)鍵組件

ExecuTorch 提供了緊湊的運(yùn)行時(shí)和輕量級(jí)操作注冊(cè)表，以覆蓋 PyTorch 模型生態(tài)系統(tǒng)，以及在邊緣設(shè)備上執(zhí)行 PyTorch 程序的簡(jiǎn)化路徑。此外，ExecuTorch 還附帶 SDK 和工具鏈，為 ML 開發(fā)人員提供了更好的用戶體驗(yàn)。

作為 PyTorch Edge 生態(tài)系統(tǒng)的一部分，ExecuTorch 可以有效地將 PyTorch 模型部署到邊緣設(shè)備。ExecuTorch 的優(yōu)點(diǎn)包括：

• 可移植性：與各種計(jì)算平臺(tái)兼容，從高端移動(dòng)手機(jī)到高度受限的嵌入式系統(tǒng)和微控制器。
• 提高生產(chǎn)力：開發(fā)人員能夠使用相同的工具鏈和 SDK，從而提高生產(chǎn)力。
• 提高性能：由于輕量級(jí)運(yùn)行時(shí)和充分利用 CPU、NPU 和 DSP 等硬件功能，為最終用戶提供了無(wú)縫和高性能的體驗(yàn)。

由于 ExecuTorch 嚴(yán)重依賴 PyTorch 相關(guān)知識(shí)，因而，想要熟練掌握 ExecuTorch，還需提前補(bǔ)充相關(guān)知識(shí)。官方文檔已經(jīng)提供了入門級(jí)教程。例如，在構(gòu)建 ExecuTorch Android 演示應(yīng)用程序示例當(dāng)中，大家可以跟隨指導(dǎo)教程，從而熟悉如何使用 ExecuTorch。

最后，需要提醒大家的一點(diǎn)是，本次發(fā)布的 ExecuTorch 是一個(gè)預(yù)覽版本，在測(cè)試和評(píng)估中可以使用，但是不建議在生產(chǎn)環(huán)境中使用。PyTorch 團(tuán)隊(duì)歡迎來(lái)自社區(qū)的任何反饋、建議和錯(cuò)誤報(bào)告，以幫助他們改進(jìn)技術(shù)。