架構創(chuàng)新×模型創(chuàng)新!清微智能全面適配DeepSeek模型推理和訓練
隨著大模型技術向多場景滲透,算力需求呈現(xiàn)「大規(guī)模、高彈性、低成本」三重挑戰(zhàn)。
清微智能基于全球領先的可重構計算架構(CGRA)推出可重構算力芯片RPU(Reconfigurable Processing Unit),實現(xiàn)單機高效運行千億級參數模型推理和訓練,以動態(tài)硬件重構、全棧優(yōu)化及高能效比,重新定義國產AI芯片的性價比標桿。
新年伊始,DeepSeek的驚艷亮相,不僅在科技圈掀起巨浪,其影響還涉及到經濟、社會、政策等多個維度,相關企業(yè)迅速跟進。
以可重構計算技術路線立足于國產AI芯片賽道的清微智能也積極響應,其RPU芯片已完成DeepSeek-R1系列模型的適配和部署運行。
清微智能RPU芯片通過可重構計算架構映射和數據流控制技術,在處理AI任務時,以更高效率實現(xiàn)計算資源的動態(tài)調度分配,摒棄傳統(tǒng)指令處理流程和共享存儲數據交換機制,使硬件資源更聚焦于核心計算任務。
清微智能算力服務器支持無交換機自組網調度,顯著提升計算資源利用率與能效比,單機支持從1.5B、7B到六千億參數的DeepSeek全量模型,是國產算力支持國產DeepSeek大模型的高性價比獨特方案。
清微智能算力服務器具有訓推一體特點,不僅在DeepSeek系列模型的推理上表現(xiàn)出優(yōu)異的性能,同時高性能支持基于DeepSeek模型對其他模型進行蒸餾訓練,極大方便了用戶實現(xiàn)大模型本地私有化部署。
例如:使用DeepSeek-R1模型對NuminaMath-TIR等數據集的問題進行推理解答,生成的思考過程和答案作為Qwen2-7B模型蒸餾訓練數據集,基于清微智能算力服務器加載蒸餾訓練數據集和Qwen2-7B的模型權重及配置文件,進行Qwen2-7B模型的蒸餾訓練。
連日來,DeepSeek系列模型的火爆出圈,凸顯了國產大模型創(chuàng)新爆發(fā)出震撼全球的威力。
清微智能RPU芯片以計算架構創(chuàng)新,結合國產模型路徑創(chuàng)新,迸發(fā)出強強聯(lián)合1+1>2的效果,為AI用戶提供了更具經濟性的組合選擇。