目錄一、引言二、以「對話為中心」的ChatBot三、以「交付為中心」的多智能體Agent三、什么是智能體Agent1.從Prompt到思維鏈2.ReAct架構3.Agent4.Manus:一個Agent典型案例5.大模型上下文協議(MCP)四、智能體Agent實現的源碼剖析(OpenManus項目)1.準備2.代碼五、總結一、引言從2022年12月份OpenAI發布ChatGPT產品至今已有2年多的時間,當大家已經習慣于在對話框中與AI交互,習慣于通過各種Prompt技巧讓AI更好的理解并回答我...
2025-03-26 00:42:39 3962瀏覽 0點贊 0回復 0收藏
一、背景Deepseekr1模型的爆火標志著本地部署大模型的需求日益增長。本文主要探討如何優化本地部署大模型的性能,并結合我們的實踐進行評測分析,文章最后我們將分享如何在本地高效部署滿血版Deepseekr1大模型。在生產環境中,我們已部署專用的大模型推理集群,并對其性能進行了全面優化。對于大模型推理來說,性能優化主要聚焦于兩個關鍵指標:吞吐量與響應時間(RT)。吞吐量傳統上,我們用每秒請求數(QPS)來衡量吞吐量,即系...
2025-02-20 09:42:58 5264瀏覽 0點贊 0回復 0收藏
一、背景得物開放平臺是一個把得物能力進行開放,同時提供給開發者提供公告、應用控制臺、權限包申請、業務文檔等功能的平臺。面向商家:通過接入商家自研系統。可以實現自動化庫存、訂單、對賬等管理。面向ISV:接入得物開放平臺,能為其產品提供更完善的全平臺支持。面向內部應用:提供安全、可控的、快速支持的跨主體通訊。得物開放平臺目前提供了一系列的文檔以及工具去輔助開發者在實際調用API之前進行基礎的引導和查詢。...
2025-01-21 13:27:59 1944瀏覽 0點贊 0回復 0收藏
一、背景得物開放平臺是一個把得物能力進行開放,同時提供給開發者提供公告、應用控制臺、權限包申請、業務文檔等功能的平臺。面向商家:通過接入商家自研系統。可以實現自動化庫存、訂單、對賬等管理。面向ISV:接入得物開放平臺,能為其產品提供更完善的全平臺支持。面向內部應用:提供安全、可控的、快速支持的跨主體通訊。得物開放平臺目前提供了一系列的文檔以及工具去輔助開發者在實際調用API之前進行基礎的引導和查詢。...
2025-01-10 13:10:24 2163瀏覽 0點贊 0回復 0收藏
如何把多個大模型合并部署以節省成本呢?本文將深入探討這一技術與應用場景,利用多Lora合并部署大模型。一、背景近期,我們在大模型集群的部署過程中遇到了一些挑戰。公司有多個業務場景,每個場景都基于自身的數據進行微調,訓練出相應的大模型并上線。然而,這些場景的調用量并不高,同時大模型的部署成本較為昂貴,這造成了資源的浪費。本文將介紹我們如何利用多Lora技術,將多個場景合并部署,從而有效解決這一問題。同時...
2024-08-21 09:28:41 2983瀏覽 0點贊 0回復 0收藏
隨著得物業務的快速發展,積累了大量的時序數據,這些數據對精細化運營,提升效率、降低成本有著重要作用。在得物的時序數據挖掘場景中,時序預測Prophet模型使用頻繁,本文對Prophet的原理和源碼進行深入分析,歡迎閱讀和交流。一、引入時間序列是指按照時間先后順序收集或觀測的一系列數據點,這類數據通常都具有一定時間相關性,基于這種順序性,我們可以對時間序列進行多種數據挖掘任務,包括分類、聚類、異常檢測和預測等...
2024-05-31 19:08:53 3837瀏覽 0點贊 0回復 0收藏
一、背景最近我們在生產環境批量部署了大模型專用推理集群,并成功讓包括70B在內的大模型推理速度提升50%,大幅縮減部署成本,穩定應用于生產環境。本文基于我們在部署大模型推理集群時的一些經驗,分享一些有效提升大模型的推理速度方法。最后,我們在結尾處推薦了幾個經過我們評測且表現優異的大模型推理框架。希望這些建議能幫助讀者在項目中選擇適合自己的推理框架。OpenAI的科學家HyungWonChung在2023年的公開演講《LargeL...
2024-05-17 10:21:29 3517瀏覽 0點贊 0回復 0收藏
一、背景電商供應鏈的系統建設一般偏向于數據管理類型,但此類系統建設有一個很明顯的問題就是前后端開發的溝通成本較高(相對研發成本而言),特別是一些簡單加減字段的訴求溝通成本甚至達到50%以上,如何將這部分溝通成本降低下來,并保證高質量的交付成為目前亟待解決的問題。經過對需求和系統頁面進行分析,我們得出如下數據:供應鏈≤2人日的需求投入工時占接近50%,兩周的迭代周期,一個前端甚至能接到10+需求,時間碎片...
2024-04-29 09:55:30 4544瀏覽 0點贊 0回復 0收藏
OpenAI發布的視頻生成模型Sora(https:openai.comsora),能根據文本生成長達一分鐘的高質量視頻,理論上支持任意分辨率,如1920x1080、1080x1920,生成能力遠超此前只能生成25幀576x1024圖像的頂尖視頻生成模型StableVideoDiffusion。一起公布的,還有一篇非常簡短的技術報告,報告大致介紹了Sora的架構及應用場景,并未對模型的原理做過多的介紹。技術報告鏈接:https:openai.comresearchvideogenerationmodelsasworldsimulator...
2024-04-01 15:37:39 3861瀏覽 0點贊 0回復 0收藏