PaddlePaddle 與 Kubernetes強強聯合助力深度學習模型高效運轉
美國時間2月8日,Kubernetes社區宣布由百度原創開發的開源深度學習框架PaddlePaddle將兼容集群管理系統Kubernetes,使PaddlePaddle成為迄今為止唯一正式支持 Kubernetes的深度學習框架。
此次兼容將使開發者能夠便捷地在全球主要云服務以及私有集群 (on-premise clusters) 上做大規模深度學習訓練。該項目由百度和CoreOS聯合開發,同時CoreOS也是Kubernetes的主要貢獻者之一。
開發者通常會將AI項目與Web服務、日志收集、和數據處理等多種作業部署在同一個通用集群(general-purpose cluster)之上,從而實現高效數據通道。為管理通用集群,需要使用Kubernetes等成熟的通用集群管理系統。使PaddlePaddle兼容Kubernetes,開發者便可以開發搭載高效深度學習的應用。
百度科學家及PaddlePaddle研發項目帶頭人王益表示:“Kubernetes可以有效簡化分布式作業,包括分布式機器學習作業的部署和運維工作,提升研究員和開發者的工作效率。“Kubernetes將需要GPU的PaddlePaddle任務與需要大內存或大磁盤I/O吞吐量(disk I/O throughput)等其他不同資源的任務部署在同一個物理計算機之上,從而發揮集群硬件的***效用。同時Kubernetes還能在活躍用戶較多的白天自動啟動更多的Web服務進程,而在夜間釋放Web服務使用的部分資源來啟動更多的PaddlePaddle進程。
PaddlePaddle為百度原創的一款易于使用的深度學習框架。最近四年里應用于百度旗下的多款互聯網產品中。該框架尤其適合訓練循環神經網絡(recurrent neural networks),從而能高效執行自然語言理解、語音識別、和計算視覺等應用。自2016年百度世界大會上,宣布開放百度深度學習平臺以來,PaddlePaddle已成為發展最快的深度學習平臺之一。