@開發者,請查收新書《MindSpore大語言模型實戰》
近年來,以ChatGPT為代表的大語言模型如雨后春筍般涌現,成為AI領域的焦點。在大語言模型的開發實踐中,AI框架的選擇至關重要。AI 框架是 AI 算法模型設計、訓練和驗證的一套標準接口、特性庫和工具包,集成了算法的封裝、數據的調用以及計算資源的使用,同時面向開發者提供了開發界面和高效的執行平臺。
昇思MindSpore作為華為開源的AI框架,在過去的幾年里使能產業界、學術界基于昇思原生、適配支持超過50個大模型。開源4年多來,昇思MindSpore已成為國內AI大模型創新的框架,原生支持大模型及AI+科學計算能力,以多維混合分布式并行能力,提升超大模型的訓練效率,并打造MindSpore TransFormers、MindSpore One生成式套件與MindSpore Science科學智能套件,實現全流程開箱即用,大幅降低大模型全流程的開發門檻與成本。
基于此,《MindSpore大語言模型實戰》一書應運而生,本書由昇思開源社區技術委員會委員陳雷老師聯合昇思研發團隊編寫,生動展現昇思MindSpore在使能大語言模型的創新應用案例,為開發者快速上手昇思、開發大模型提供指導。
購書鏈接:https://product.dangdang.com/29791704.html
內容簡介
本書旨在深度挖掘大語言模型技術。首先,本書追溯大語言模型的發展歷程,介紹Transformer模型的基本原理、結構和模塊及在大模型任務中的應用,并剖析它們在各領域的成功案例,然后介紹由Encoder-Only到Decoder-Only的技術路線發展過程中對應的 BERT、GPT等大語言模型,深入理解它們背后的工作原理。通過理論介紹,讀者將對大語言模型的演進和突破有更為清晰的認識。
接著,本書重點深入展開昇思MindSpore支撐一眾大模型的核心:分布式并行能力,解析其在大語言模型實踐中的獨特之處,這將有助于讀者全面了解昇思MindSpore在大語言模型實踐中的創新應用。
最后,本書以主流開源大語言模型BLOOM和LLaMA為樣例,聚焦大語言模型在不同領域的實踐,包括自然語言處理、圖像生成、語音識別等領域。揭示MindSpore如何為這些領域的大語言模型提供高效的支持,幫助讀者更好地將大語言模型應用于實際問題。
為了使讀者更好地學習和理解相關內容,本書還提供基于昇思MindSpore實現的大語言模型實踐的樣例代碼。這些樣例代碼將幫助讀者從理論到實踐,逐步掌握大語言模型的構建方法和昇思MindSpore應用的核心技術。
必讀理由
●緊跟熱點:當前人工智能最熱的領域是大語言模型,從業者對了解、使用及構建大語言模型充滿熱情,本書以大語言模型領域的應用為主,切合市場熱點。
●實戰為主:全方位深度學習知識學習和高效的框架代碼實踐,幫助開發者/學生/從業者等快速理解并打造自己的大語言模型,本書適合所有感興趣的人學習。
●模塊化課程:緊跟業界熱點,拆解至小顆粒度進行分類,精準定位知識點,有的放矢最大效率進行學習。
●專家指路:作者陳雷在MindSpore人工智能框架深耕領域多年,有豐富的理論實踐經驗,收到業內人士和開發者的廣泛認可。
●免費資源:課程全程免費,并提供免費算力資源用于學習,可關注MindSpore公眾號發布的活動;更多的大模型案例可關注昇思MindSpore技術公開課的持續更新。
作者簡介
陳雷:加拿大滑鐵盧大學計算機博士。現擔任香港科技大學(廣州)信息樞紐院長,數據科學與分析學域講座教授,廣州市大數據智能重點實驗室主任。研究方向包括數據驅動的人工智能、大數據分析、知識圖譜、眾包、區塊鏈、圖數據庫、概率和不確定數據庫,以及時空和時間序列數據庫。
曾獲2020年度中國電子學會科學技術獎一等獎、2015年ACM SIGMOD時間檢測獎2022 WLDB最佳研究論文獎、2014LDB優秀示范獎。曾擔任ICDE2023和VLDB2019 PC聯合主席、VLDB Journal聯合主編、VLDB基金會執行委員。目前擔任IEEETKDE主編、DASFAA國際會議指導委員會主席、長江講座教授,當選IEEE會士和ACM杰出科學家,獲得國家杰出青年科學基金海外青年學者合作研究項目支持。