邊緣正在銳化。如果有關注人工智能(AI)的討論，就會發(fā)現(xiàn)有幾個主題推動著人工智能的發(fā)展。雖然生成式人工智能憑借其通過使用大型語言模型(LLM)得出推理智能的類人能力，而成為眾人矚目的焦點，但現(xiàn)在將人工智能應用于物聯(lián)網(wǎng)(IoT)中的智能設備的方式也被認為是成熟的。

邊緣與物聯(lián)網(wǎng)

這是物聯(lián)網(wǎng)內部的計算，因此這就是“邊緣”計算。雖然物聯(lián)網(wǎng)和邊緣這兩個術語經(jīng)常互換使用，但必須澄清說明一下，物聯(lián)網(wǎng)是設備所在的地方，而邊緣計算是在設備上發(fā)生的事情。為了進一步定義，物聯(lián)網(wǎng)設備通常需要連接到互聯(lián)網(wǎng)才能工作，而邊緣設備可能在其生命周期的大部分時間里都處于斷開連接狀態(tài)，只是偶爾連接到互聯(lián)網(wǎng)用于處理的云數(shù)據(jù)中心。

為邊緣應用創(chuàng)建硬件需要考慮特定的計算性能、功耗和經(jīng)濟條件的全新設計。考慮到這些核心動態(tài)，IT行業(yè)一直在努力讓邊緣計算變得更好。

物聯(lián)網(wǎng)的規(guī)模

到2030年，預計將有超過1250億個物聯(lián)網(wǎng)設備連接到互聯(lián)網(wǎng)，從智能手機到攝影頭，再到智能家居設備等。這些設備中的每一個都將產(chǎn)生大量用于分析的數(shù)據(jù)，其中80%以視頻和圖像的形式存在。到目前為止，盡管已知道物聯(lián)網(wǎng)中存在大量數(shù)據(jù)，即使有與云的連接，但也只分析了其中的一小部分數(shù)據(jù)。

對隱私、安全和帶寬的日益關注，導致數(shù)據(jù)在更接近其來源的地方進行處理，即在物聯(lián)網(wǎng)的邊緣。那么，人工智能有什么作用呢?目前，人工智能技術主要是為云計算運營而設計的，云計算不像邊緣設備那樣具有成本、功耗和可擴展性限制。人工智能邊緣專家Axelera AI認為其可以提供幫助。該企業(yè)的Metis AI平臺本月已進入早期訪問階段，用于開發(fā)先進的邊緣人工智能原生硬件和軟件解決方案。

Axelera AI聯(lián)合創(chuàng)始人兼首席執(zhí)行官Fabrizio Del Maffeo表示：“Metis AI平臺提供實用的邊緣人工智推理解決方案，滿足開發(fā)下一代計算機視覺應用的企業(yè)的需求。人工智能原生的集成硬件和軟件解決方案簡化了實際部署，提供了用戶友好的開發(fā)和集成路徑。其采用PCIe卡和視覺就緒系統(tǒng)等行業(yè)標準外形，簡化了人工智能與業(yè)務應用的集成，滿足當今的市場需求。“

什么是數(shù)據(jù)流技術?

該平臺的核心是Metis人工智能處理單元(AIPU)，其基于專有的數(shù)字內存計算技術(D-IMC)和具有“數(shù)據(jù)流”技術的RISC-V。正如Maxeler Technologies提醒的那樣：“數(shù)據(jù)流計算機專注于優(yōu)化應用中的數(shù)據(jù)移動，并利用數(shù)千個微小‘數(shù)據(jù)流核心’之間的大規(guī)模并行性，在性能、空間和功耗方面提供數(shù)量級的優(yōu)勢。”

Del Maffeo和團隊聲稱AIPU提供業(yè)界領先的性能、可用性和效率，而成本僅為現(xiàn)有解決方案的一小部分。該技術可針對不斷增長的部署項目進行擴展，并且該企業(yè)的嵌入式安全引擎通過加密保護數(shù)據(jù)和信息，確保敏感生物識別數(shù)據(jù)的安全。

該技術集成到AI加速卡、AI加速板和AI加速視覺就緒系統(tǒng)中，可供公眾使用。這使得中小型企業(yè)能夠加快采用速度并簡化現(xiàn)場安裝。使用Metis AIPU開發(fā)的名為Voyager的即點即用軟件開發(fā)套件(SDK)，為計算機視覺應用和自然語言處理(NLP)提供了易于使用的用戶友好型神經(jīng)網(wǎng)絡，其旨在將人工智能集成到設備中。

Del Maffeo解釋道：“Voyager SDK為開發(fā)人員提供了一種快速、簡單的方法，為Axelera AI的Metis AI平臺構建功能強大的高性能應用。開發(fā)人員在一個簡單的YAML配置文件中，以聲明方式描述其端到端管道，其中可以包括一個或多個深度學習模型以及多個非神經(jīng)預處理和后處理元素。SDK工具鏈自動編譯和部署Metis AI平臺管道中的模型，并將預處理和后處理組件分配給主機上的可用計算元素，例如CPU、嵌入式GPU或媒體加速器。”

作為消費者，我們最初可能沒有意識到計算能力正在得到這種渦輪增壓。因為，沒有一個普通用戶會思考這些操作是否涉及使用32位浮點數(shù)據(jù)的機器學習網(wǎng)絡，以使用標準反向傳播技術對人工智能模型進行精確訓練。

這里需要了解的一點是，人工智能模型通常使用強大、昂貴、耗能的圖形處理單元(GPU)在云數(shù)據(jù)中心中進行訓練，并且在過去，這些模型經(jīng)常直接用于同一硬件上的推理。Axelera AI的建議是，不再需要此類硬件來實現(xiàn)高推理精度，而當今的挑戰(zhàn)是，如何有效地將這些模型部署到在網(wǎng)絡邊緣運行的成本較低、功耗受限的設備。

邊緣將繼續(xù)變得更智能、更銳利和更大，我們需確保能夠控制這種新型設備智能，使其發(fā)揮最大效率。