框架分類

因為框架偏重的不同，我們根據功能和特點，可以將本地AI框架分為兩大類：

• 通用框架： 這些框架提供了廣泛的工具和API，適用于多種AI任務，如圖像分類、自然語言處理、機器翻譯等。常見的通用框架包括：

Candle： 一個用Rust編寫的跨平臺框架，支持多種模型類型，具有良好的性能和擴展性。

MLX： 主要面向Mac用戶，以速度快著稱，支持各種圖像生成、轉錄和LLM模型。

• 專用框架： 這些框架專注于特定類型的模型或任務，具有更高的性能和效率。常見的專用框架包括：

llama.cpp： 專為運行大型語言模型（LLM）而設計，支持多種LLM模型，如LLaMA、Mistral等。

MLC： 專注于在WebGPU上部署LLM，具有極快的推理速度。

框架對比

性能對比

不同框架在性能方面存在差異，影響因素包括硬件、模型大小、任務類型等。一般來說，專用框架在特定任務上的性能會優于通用框架。然而，隨著硬件的發展和框架的不斷優化，性能差距會逐漸縮小。

易用性對比

• llama.cpp： 配置相對復雜，需要一定的編程基礎。
• MLC： 使用簡單，適合Web開發者。
• MLX： 提供了友好的用戶界面，易于上手。
• Candle： 學習曲線較陡，需要了解Rust編程。
• Ollama： 提供了簡化的命令行工具和Web界面，易于使用。
• DirectML/ONNX Runtime： 作為微軟生態的一部分，集成到其他微軟工具較為方便。
• 微軟Phi-3： 社區生態尚在發展，但非常值得關注，我們已經在幾個產品的研發中采用。

生態系統對比

• 社區活躍度： llama.cpp、Ollama、DirectML/ONNX Runtime等框架擁有龐大的社區，提供豐富的文檔和教程。
• 模型支持： 不同框架對模型的支持范圍不同，選擇框架時需要考慮自己所需的模型類型。
• 工具鏈： 框架通常提供一系列工具，如模型量化、剪枝等，以優化模型的性能和大小。

未來展望

本地AI框架的發展趨勢主要包括以下幾個方面：

• 硬件加速： 隨著硬件技術的進步，框架將更好地利用GPU、NPU等加速器，提高推理速度。
• 模型量化與壓縮： 為了在資源有限的設備上部署大型模型，框架將更加關注模型量化和壓縮技術。
• 跨平臺支持： 框架將支持更多的硬件平臺和操作系統，提高兼容性。
• 與云端AI的結合： 本地AI框架將與云端AI服務進行更緊密的結合，實現混合部署。

總結

選擇合適的本地AI框架需要綜合考慮多個因素，包括性能、易用性、生態系統、硬件支持等。大家都發展挺快，目前也沒有一個框架是完美的，開發者應根據自己的具體需求和項目特點進行選擇。

最后，我們也大概列舉了一下最近在邊緣場景中對于沒有GPU或者CPU的情況所適用的框架：

1.純CPU優化框架

這些框架對CPU的計算能力進行了高度優化，使其能夠高效地執行神經網絡計算。

• ONNX Runtime: 微軟推出的高性能推理引擎，支持ONNX格式的模型，并針對CPU進行了優化。
• TensorFlow Lite: TensorFlow的輕量級版本，專門為移動設備和嵌入式系統設計，支持在CPU上運行模型。
• PyTorch Mobile: PyTorch的移動端版本，可以將PyTorch訓練的模型部署到移動設備上，并支持CPU推理。
• Core ML: 蘋果的機器學習框架，專門為蘋果設備優化，支持在CPU上運行模型。

2.模型量化框架

這些框架通過對模型進行量化，減少模型參數的精度，從而降低模型的大小和計算量，使其能夠在低功耗設備上運行。

• TensorRT: NVIDIA的推理加速器，支持INT8量化，可以顯著降低模型的大小和推理時間。
• TVM: 一個通用深度學習編譯器，支持多種硬件平臺，并提供量化工具。

3.專為低功耗設備設計的框架

• MicroTensorFlow: TensorFlow的一個子集，專門為微控制器等極低功耗設備設計。
• Coral Edge TPU: 谷歌的邊緣AI加速器，可以與TensorFlow Lite配合使用，提供高效的推理性能。