什么是邏輯回歸本文討論邏輯回歸的基礎知識及其在Python中的實現。邏輯回歸基本上是一種有監督分類算法。在分類問題中，目標變量（或輸出）y對于給定的一組特征（或輸入）X，且X只能取離散值。有一點與流行的看法相反地是，我認為邏輯回歸是一種回歸模型。該模型建立一個回歸模型來預測給定數據條目屬于編號為“1”的類別的概率。就像線性回歸假設數據遵循線性函數一樣，邏輯回歸只是使用sigmoid函數對數據建模。僅當將決策閾值...

為什么會過擬合？首先需要有一個基本概念，機器學習目前還是處于統計學習范疇，即在一堆數據集（訓練集）中尋找規律，然后在新的數據（測試集）預測結果，如果在新數據那預測的效果不佳但訓練集效果極好，這時候我們就大概率確認是過擬合的情況。機器學習過擬合情況.png550如何緩解過擬合？增加訓練集這是一個很直接但有效的解決方案，可以想象一下，我們假定模型的靈活性很高，它很好地擬合了我們的訓練集，但我們的訓練集（已...

一種叫做AdaptiVocab方法，通過詞匯表適配，在垂直領域顯著提升LLM效率，且不損失生成質量與知識能力。其輕量級特性為實際部署提供了可行方案，尤其在資源受限場景下具有重要應用價值。1.研究背景與動機問題提出：大型語言模型（LLM）在通用領域表現出色，但計算成本高，尤其在自回歸解碼中每一步都需要前向傳播。領域特定需求：在專業領域（如地球科學、物理史），通用詞匯冗余，導致效率低下。傳統領域適應方法關注性能而非效...

主要來說，FunctionCalling的訓練主要涉及數據構造、模型架構適配、多階段微調等關鍵環節。主要開源方案可以參考Llama3.1或者QwenAgent，基本上在Llama3的技術報告（https:arxiv.orgpdf2407.21783）中就可以知道FunctionCalling的實現路徑。以下是Llama3的技術報告里面如何用二階段訓練來提升FunctionCalling的準確性。一、數據預處理Llama3設計了一套多階段數據篩選策略，通過質量評估與內容優化提升訓練數據價值：1.主題分級...

FramepackAI是由斯坦福大學的研究人員開發的一種開創性的神經網絡結構，它徹底改變了視頻生成模型處理長篇內容的方式。該論文核心是解決了長期以來一直困擾視頻生成系統的基本“遺忘漂移困境”。通過實施一種創新的壓縮技術，根據幀的重要性對幀進行優先級排序，無論視頻時長如何，FramepackAI都能保持固定的轉換器上下文長度。這一成就使AI系統能夠在不增加計算要求的情況下處理更多的幀，使長視頻生成不僅成為可能，而且實用...

一、為啥要研究這個問題？現在的AI大模型（比如ChatGPT）雖然很厲害，但它們在做一些需要“打分”的任務時（比如判斷哪個回答更好、更安全），還是得靠人類提前設定好規則。比如，告訴AI“答案要準確”、“不能有偏見”等等。但現實情況超級復雜，很多問題沒法靠幾條固定規則解決，比如怎么評價一篇作文的好壞，或者怎么判斷一段對話有沒有冒犯性。這時候，AI就需要自己學會“打分”——這就是獎勵建模（RewardModeling）。不過...

2025年，大模型驅動的智能體（Agent）技術已成為AI產業的核心戰場。根據SuperCLUE最新測評報告，盡管國內大模型已逼近國際頂尖水平，但在復雜場景落地、長程任務處理等維度仍面臨關鍵瓶頸。本文基于最新測評報告，輸出符合個人、企業開發者所需的Agent大模型。一、Agent能力模型排行1.全球模型能力榜：國產模型非常優秀模型名稱模型類型所屬國家Agent得分（0100）備注GPT4.5Preview基礎模型海外71.88國際第一hunyuanturbos基礎...

現在AIAgent開發需求激增，FastGPT、Dify和字節跳動旗下的Coze成為市面上比較流行的三大工具。我從技術架構、功能適配性、生態能力等維度進行對比分析，為自己整理的同時，給大家一些簡單參考。一、核心功能與技術對比維度FastGPTDifyCoze公司環界云計算語靈科技字節跳動定位開源知識庫問答系統開源LLM應用開發平臺（BaaS+LLMOps）AI聊天機器人開發平臺核心能力Flow工作流編排、多格式知識庫多模型調度、可視化應用編排插件生態...

簡單來說，如果你沒有足夠的機器資源和時間，那么就跑到你預期的epoch，只需要保證驗證集預期的準確率或其他指標滿足要求即可。局部極小值和鞍點如果你想追求極致的loss下降，那么你需要了解兩個知識點——局部極小值和鞍點。一般我們的loss降不了，是因為該位置的參數對損失的微分為零，導致梯度下降不再更新參數了，那么此時loss也就不會繼續下降。那么提到梯度為零的時候，我們一般想象到的是局部極小值。其實也沒錯，因為出...

什么是TFIDFTFIDF(termfrequency–inversedocumentfrequency)是一種用于信息檢索與數據挖掘的常用加權技術，常用于挖掘文章中的關鍵詞，而且算法簡單高效，常被工業用于最開始的文本數據清洗。TFIDF有兩層意思，一層是"詞頻"（TermFrequency，縮寫為TF），另一層是"逆文檔頻率"（InverseDocumentFrequency，縮寫為IDF）。假設我們現在有一片長文叫做《量化系統架構設計》詞頻高在文章中往往是停用詞，“的”，“是”，“了”等...

Dropout現在這個操作在目前這個深度學習時代中是非常常見的一個操作。對于Dropout的好處我們也聽過很多，降低過擬合，提高模型的魯棒性，控制模型復雜度等blabla。。但我比較好奇的是，Dropout是怎么實現以上好處，經過一番了解，簡單描述下。Dropout實際上我們可以先理解成給予Network結構中的一種噪音，但是我們這個噪音不是隨便給，是有一定數學理論支撐，我們是選擇無偏差地往網絡結構中加入噪音。通常來說，訓練的時候才需...

總結在項目中，如果你沒有任何參考，那么選擇2次方（即64、128、256、512、1024等）可以會更加直接和易于管理，然后對上限來說，batchsize大小最好<數據集樣本數0.1。梯度下降算法在更新模型參數時，我們一般會用到梯度下降算法。這個時候，我們就會有一個問題，每次拿多少訓練樣本進行更新參數呢？這個時候有兩個極端情況，資源夠，那我們把所有數據都丟進去，我們稱之為批量梯度下降法（BatchGradientDescent，BGD）。另外一...

概覽該論文提出了一種名為CLIP（ContrastiveLanguageImagePreTraining）的多模態預訓練模型，用于學習圖像和文本之間的語義關系。該模型使用自然語言作為監督信號，通過對比預測正確的圖像文本配對和錯誤的配對來學習特征表示。具體來說，CLIP首先將輸入的圖像和文本分別編碼為高維向量，并在兩個空間中計算它們之間的相似度。然后，CLIP使用一個對比損失函數來優化這些向量的表示，以最大化正確配對的相似度并最小化錯誤配對的...

不知道大家有沒有想過這個問題？我這兩天對這個問題還深入思考了一下，思考的初衷是來源于現在這么多的開源大模型，而且挺多是多模態場景，而Embedding模型相對單模且英文語料居多，如果能復用大模型的outputlayer，是不是會加速手頭上的實驗進展。但思考后覺得效果應該是比不上原生的Embedding模型，有空再專門測試一下看看。可能主要有以下幾點原因：像LLM模型都是預測nexttoken，那么針對nexttoken的預測，模型肯定更加關注...

大家或多或少都已經默認了，batchsize一般都是2，8，36，64，128...因為基本上所有論文都是這么設置默認超參數，大家久而久之就習慣了，至少這樣設置總不會錯吧。其實我也有這么一個迷思，如果不設置為2的n次方會怎么樣？效果變差？效率變低？還是...基本理論一般而言，選擇batchsize為2的冪背后的主要思想來自于：內存對齊和浮點效率。內存對齊將batchsize選擇為2的冪的主要論點之一是CPU和GPU內存架構是以2的冪組織的。有一個...

主要是發現網上沒有比較新的OpenAIAPI參數詳情參考，自己到官網上看了最新內容，機翻后簡單修正了下，作為備忘搜索用。主要參數messages（object）：包含到目前為止的對話的消息列表。根據您使用的模型，支持不同的消息類型（模態），如文本、圖像和音頻。model（string）：要使用的模型的ID。store（bool）：是否存儲此聊天完成請求的輸出。frequencypenalty（float）：介于2.0和2.0之間。正值會根據在文本中的現有頻率對新tok...

2018年是自然語言處理領域的轉折點，一系列深度學習模型在從問答到情感分類的NLP任務上取得了最先進的成果。谷歌的BERT算法已經成為一種“一個模型來統治其他所有NLP模型”，基于其在各種各樣的任務上的優異性能。這篇文章通過可視化輸出，嘗試使用BertViz進行交互式演示。??https:github.comjessevigbertviz??BERT建立在兩個關鍵思想的基礎上，這兩個思想是NLP最近取得的許多進展的原因：Transformer架構；無監督預訓練。T...

近年來，機器學習的普及率急劇上升。機器學習從數據中創造價值的潛力使其對許多不同行業的企業都具有吸引力。大多數機器學習產品都是使用現成的機器學習算法設計和實現的，并進行了一些調整和微小的改動。機器學習算法種類繁多，可分為三大類：監督學習算法在給定一組觀察值的情況下對特征（自變量）和標簽（目標）之間的關系進行建模。然后該模型用于使用這些特征預測新觀察的標簽。根據目標變量的特性，它可以是分類（離散目...

1.什么是BERT？在不斷發展的自然語言處理（NLP）領域，一項名為BERT的突破性創新已經出現，改變了游戲規則。BERT代表BidirectionalEncoderRepresentationsfromTransformers，不僅僅是機器學習術語海洋中的另一個首字母縮略詞。它代表了機器理解語言方式的轉變，使它們能夠理解使人類交流豐富而有意義的錯綜復雜的細微差別和上下文依賴關系。2.為什么BERT很重要？想象一句話：“她拉小提琴的時候很漂亮。傳統的語言模型會從左到...