微軟正嘗試在Office中集成國產開源大模型RWKV！

RWKV官方甚至直接發了個推文表示：

RWKV.cpp，現已在全球五億系統中部署。

之所以這么說，是因為他們發現最新版Windows 11系統的Office文件夾中有以rwkv命名的DLL文件，包含GPU、CPU版本。

圖片

對這些二進制文件進行反編譯檢查，結果發現就是GitHub的RWKV.cpp項目的一種變體。

圖片

人人都可以將Windows 11更新到最新版本，通過以下路徑自行驗證：

C:\Program Files\Microsoft Office\root\vfs\ProgramFilesCommonX64\Microsoft Shared\OFFICE16

或者，也可以在IT商店的任何“copilot Windows 11”設備上搜索系統文件中的rwkv。

圖片

消息一出，引發網友熱議，不少網友喊微軟趕緊打錢。

如果他們沒有給予支持或引用你們的貢獻，那就有點說不過去了。

圖片

希望這項工作能得到豐厚的報酬。

圖片

微軟可能用RWKV干啥？

RWKV團隊猜測，微軟可能會將RWKV用于正在測試的本地Copilot、memory recall等功能。

圖片

在之前微軟發布新一代Copilot+PC中就有提到過，在專為AI重構的新版Windows 11上，許多功能都是實時的。

為此，微軟引入了全新的系統架構，將CPU、GPU和新的高性能神經處理單元NPU結合在一起。

NPU就負責在后臺實時運行AI，Recall功能背后其實就是AI對你屏幕上正在處理的所有內容做分類。

而RWKV模型的優勢是：

支持100多種語言，有利于全球化部署；

相比傳統Transformer模型，運行能耗低得多，能夠在包括樹莓派等各種設備上高效運行。

如下圖所示，生成更多token所需的計算資源隨token數增加而線性增加，cuda_rwkv-4-pile-3b的曲線在整個過程中相對低了一大截，表明在相同量token情況下，這個模型GPU消耗更為高效。

圖片

而能耗對于設備電池壽命而言至關重要。

圖片

當然這些只是猜測，關于微軟的真實用意，團隊表示后續將密切關注。

RWKV是什么?

RWKV設計靈感來自蘋果21年的研究《An Attention Free Transform》，團隊意識到如果在公式中使用循環矩陣（circular matrices）就可以將網絡結構寫成RNN。

與GPT系列的時間復雜度O(n^2)相比，RNN的時間復雜度只有O(n),空間復雜度是O(1)。

這意味著生成內容的速度不會隨長度而夸張增漲，顯存占用也是恒定的。

論文共同一作彭博在接受36kr采訪時曾這樣形容：

GPT每寫一個字就要重新看一遍前面所有文字，效率很低。而RWKV就相當于人類讀了一遍資料后，在不再看資料的情況下直接回答。

這項研究去年一經發布，就在學術圈得到大量關注。

圖片

RWKV開山論文背后是由來自27家大學、研究機構和公司的研究人員組成的團隊，作者達30人。

共同一作彭博（Peng Bo），畢業于香港大學物理系，編程經驗20+年，曾在世界最大外匯對沖基金之一Ortus Capital就職，負責高頻量化交易。

還出版過一本關于深度卷積網絡的書籍《深度卷積網絡·原理與實踐》。

他的主要關注和興趣方向在軟硬件開發方面，在此前的公開訪談中，他曾明確表示AIGC是自己的興趣所在，尤其是小說生成。

圖片

但他的最主要公開身份是一家燈具公司稟臨科技的聯合創始人，主要是做陽光燈、吸頂燈、便攜臺燈等。

并且其人應該是一個喵星人資深愛好者，Github、知乎、微信頭像，以及燈具公司的官網首頁、微博上，都有橘貓的身影。

今年，RWKV又上新推出了兩種新架構模型：Eagle (RWKV-5) 、Finch（RWKV-6)。

圖片

這兩種序列模型以RWKV-4架構為基礎，在多頭矩陣值狀態（multi-headed matrix-valued states）和動態遞歸機制（dynamic recurrence mechanism）上做了改進，提高了RWKV模型的表達能力，同時保持RNN的推理效率特征。

同時，新架構引入了一個新的多語言語料庫，包含1.12萬億個token。

團隊還基于貪婪匹配（greedy matching）開發了一種快速的分詞器，以增強RWKV的多語言性。

參考鏈接：
[1]https://x.com/RWKV_AI/status/1831000938120917336
[2]https://github.com/RWKV/rwkv.cpp