Labs 導讀

邊緣智能（Edge Intelligence）是一種將人工智能（AI）和邊緣計算相結合的新興技術。傳統的人工智能應用通常依賴于云計算中心進行數據處理和決策，但這種方式存在延遲和網絡帶寬的問題。

Part 01、  什么是邊緣智能   

邊緣智能（Edge Intelligence）是一種新興的技術概念，它指的是將人工智能（AI）算法和模型部署在接近數據源的物聯網設備及其附近的網絡節點上進行實時數據處理和分析的能力。在過去幾年中，AI的快速發展引發了許多創新應用和解決方案。然而，隨著AI模型的規模和復雜性不斷增加，傳統的云計算架構面臨著一系列挑戰，如高延遲、網絡擁塞和數據隱私等問題。為了克服這些挑戰，邊緣計算和人工智能的結合應運而生，形成了邊緣智能的概念。邊緣智能不僅將AI模型的訓練和推理移動到離用戶更近的邊緣設備上，如智能手機、傳感器、路由器、監控攝像頭等。通過在這些邊緣設備上進行實時數據處理，快速響應和分析數據，并在本地做出決策，從而避免了將所有數據發送到云端進行處理的延遲和安全隱患，為AI應用帶來了許多新的機會。

對于邊緣智能的范圍及評級，已有研究認為邊緣智能應該是充分利用終端設備、邊緣節點和云數據中心層次結構中可用數據和資源的范例，從而優化深度神經網絡模型（Deep Neural Networks, DNN）的整體訓練和推理性能。這表明邊緣智能并不意味著DNN模型必須在邊緣訓練或推理，而是可以通過數據卸載以云-邊-端協同的方式來工作。同時，根據數據卸載的數量和路徑長度，將邊緣智能分為6個等級。

在計算延遲和能耗增加的代價下，隨著邊緣智能等級的提高，數據卸載的數量和路徑長度會減少，從而降低數據卸載的傳輸時延，增加數據隱私性，減少網絡帶寬成本。

Part 02、邊緣智能模型訓練 

邊緣分布式深度神經網絡訓練架構可分為集中式、分布式、混合式（云邊端協同）三種模式。

? 集中式：DNN模型在云數據中心進行訓練，用于訓練的數據是從分布式終端設備（如手機、汽車和監控攝像頭）生成和收集的，一旦數據到達，云數據中心將使用這些數據進行DNN訓練。基于集中式架構的系統，可以根據系統采用的具體推理方式，在邊緣智能中識別為第1級、第2級或第3級。

? 分布式：每個計算節點使用本地數據在本地訓練各自的DNN模型，并將私有信息保存在本地。通過共享本地訓練更新來獲得全局DNN模型。該模式下，無需云數據中心干預即可訓練全局DNN模型，對應邊緣智能的第5級。

? 混合式（云邊端協同）：結合集中式和分布式，邊緣服務器可以通過分布式更新來訓練DNN模型，或者使用云數據中心來集中式訓練。對應邊緣智能中的第4級和第5級。

目前，邊緣智能模型訓練方法，主要通過訓練損失、收斂性、隱私性、通信成本、延遲和能源效率這6個關鍵性能指標來評價。

邊緣智能模型訓練可支持的技術如下表：

Part 03、 邊緣智能模型推理 

高質量的邊緣智能服務部署，除了實現深度學習模型的分布式訓練，還需要在邊緣高效地實現模型推理。邊緣智能的推理模型，分為基于邊緣、基于設備、邊緣-設備和邊緣-云四種模式。

? 基于邊緣的推理模型：設備處于邊緣模式，接收輸入數據，然后將他們發送到邊緣服務器。邊緣服務器完成DNN模型推理，并將預測結果返回給設備。推理性能依賴于設備與邊緣服務器之間的網絡帶寬。

? 基于設備的推理模型：設備處于設備模式，移動設備從邊緣服務器獲取DNN模型，并在本地完成模型推理，在推理過程中，移動設備不斷與邊緣服務器通信，因此需要移動設備具有CPU、GPU和RAM等資源。

? 基于邊緣-設備的推理模型：設備處于邊緣-設備模式，設備首先根據網絡帶寬、設備資源和邊緣服務器負載等因素將DNN模型劃分為多個部分；然后將DNN模型執行到特定層，并將中間數據發送給邊緣服務器。邊緣服務器將執行剩余層，并將預測結果發送到設備上。

? 基于邊緣-云的推理模型：設備處于邊緣-云模式，設備負責收集輸入數據，并通過云邊協同執行DNN模型。

邊緣智能模型推理的性能主要通過延遲、精度、能量效率、隱私性、通信成本和內存占用這六個指標來進行評價。

邊緣智能模型訓練可支持的技術如下表：

Part 04、  邊緣智能的研究方向  

邊緣智能作為一種新興的技術領域，有著廣闊的研究方向和發展潛力，根據邊緣智能的技術特點和應用場景，未來可從以下幾個方面進行研究：

• 編程和軟件平臺。隨著越來越多人工智能驅動的計算密集型移動和物聯網應用的出現，邊緣智能即服務（Edge Intelligence As a Service, EIaaS）將成為一種普適范式，具有強大邊緣人工智能功能的EI平臺將被開發和部署。
• 邊緣智能算法與模型設計。在邊緣設備上開發高效的智能算法和模型，以實現更加智能的數據處理和決策能力。包括機器學習、深度學習、強化學習等算法在邊緣設備上的優化和部署。
• 安全和隱私問題。在邊緣智能環境中保障數據的安全和隱私，包括數據傳輸的加密與認證、邊緣設備的安全防護、用戶隱私的保護等方面。
• 計算感知網絡技術。基于人工智能的計算密集型應用通常運行在分布式邊緣計算環境中。因此，先進網絡解決方案應該具有計算感知，在不同的邊緣節點之間有效共享計算結果和數據。構建高效可靠的邊緣智能網絡架構，包括網絡拓撲結構、數據傳輸協議、通信安全等。同時，利用邊緣計算資源提供高速且低延遲的通信服務。
• 應用場景與系統設計。將邊緣智能技術應用于各個領域，如智能交通、智能制造、智能城市、健康醫療等，探索適應性強、高效可靠的邊緣智能系統設計，以解決實際問題并推動行業發展。
• 邊緣計算與數據處理。將邊緣設備中的計算能力和存儲能力充分利用起來，實現數據的實時處理和分析。同時，在資源有限的邊緣設備上優化計算和存儲資源的管理和調度，提高計算效率和資源利用率，以提高系統的效率和性能。
• 邊緣智能的自適應學習與優化。使邊緣智能系統能夠根據環境和需求的變化自主學習和優化，提供更加智能化的服務和決策。
• 邊緣智能與其他相關領域的結合。邊緣智能與物聯網、5G通信、云計算等技術的結合，以實現更加綜合、高效的智能化方案。