DeepMind用AI重寫排序算法；將33B大模型塞進(jìn)單個(gè)消費(fèi)級(jí)GPU

作者：機(jī)器之心 2023-06-12 11:49:37

近期，大語言模型展現(xiàn)出了令人矚目的能力。我們能否給大模型裝上 “眼睛” 和 “耳朵”，讓它能夠理解視頻，陪著用戶互動(dòng)呢？

目錄：

Faster sorting algorithms discovered using deep reinforcement learning
Video-LLaMA: An Instruction-tuned Audio-Visual Language Model for Video Understanding
Patch-based 3D Natural Scene Generation from a Single Example
Spatio-temporal Diffusion Point Processes
SpQR: A Sparse-Quantized Representation for Near-Lossless LLM Weight Compression
UniControl: A Unified Diffusion Model for Controllable Visual Generation In the Wild
FrugalGPT: How to Use Large Language Models While Reducing Cost and Improving Performance

論文 1：Faster sorting algorithms discovered using deep reinforcement learning

作者：Daniel J. Mankowitz 等
論文地址：https://www.nature.com/articles/s41586-023-06004-9

摘要：「通過交換和復(fù)制移動(dòng)，AlphaDev 跳過了一個(gè)步驟，以一種看似錯(cuò)誤，但實(shí)際上是捷徑的方式連接項(xiàng)目。」這種前所未見、違反直覺的思想不禁讓人回憶起 2016 年那個(gè)春天。

七年前，AlphaGo 在圍棋上擊敗人類世界冠軍，如今 AI 又在編程上給我們上了一課。Google DeepMind CEO 哈薩比斯的兩句話引爆計(jì)算機(jī)領(lǐng)域：「AlphaDev 發(fā)現(xiàn)了一種全新且更快的排序算法，我們已將其開源到主要 C++ 庫中供開發(fā)人員使用。這只是 AI 提升代碼效率進(jìn)步的開始。」

推薦：AI 重寫排序算法，速度快 70%：DeepMind AlphaDev 革新計(jì)算基礎(chǔ)，每天調(diào)用萬億次的庫更新了

論文 2：Video-LLaMA: An Instruction-tuned Audio-Visual Language Model for Video Understanding

作者：Hang Zhang 等
論文地址：https://arxiv.org/abs/2306.02858

摘要：近期，大語言模型展現(xiàn)出了令人矚目的能力。我們能否給大模型裝上 “眼睛” 和 “耳朵”，讓它能夠理解視頻，陪著用戶互動(dòng)呢？

從這個(gè)問題出發(fā)，達(dá)摩院的研究人員提出了 Video-LLaMA，一個(gè)具有綜合視聽能力大模型。Video-LLaMA 能夠感知和理解視頻中的視頻和音頻信號(hào)，并能理解用戶輸入的指令，完成一系列基于音視頻的復(fù)雜任務(wù)，例如音 / 視頻描述，寫作，問答等。目前論文，代碼，交互 demo 都已開放。另外，在 Video-LLaMA 的項(xiàng)目主頁中，該研究團(tuán)隊(duì)還提供了中文版本的模型，讓中文用戶的體驗(yàn)更絲滑。

下面兩個(gè)例子展示了 Video-LLaMA 的視聽綜合感知能力，例子中的會(huì)話圍繞有聲視頻展開。

推薦：給語言大模型加上綜合視聽能力，達(dá)摩院開源 Video-LLaMA。

論文 3：Patch-based 3D Natural Scene Generation from a Single Example

作者：Weiyu Li 等
論文地址：https://arxiv.org/abs/2304.12670

摘要：北京大學(xué)陳寶權(quán)團(tuán)隊(duì)聯(lián)合山東大學(xué)和騰訊 AI Lab 的研究人員，提出了首個(gè)基于單樣例場景無需訓(xùn)練便可生成多樣高質(zhì)量三維場景的方法。

推薦：CVPR 2023 | 三維場景生成：無需任何神經(jīng)網(wǎng)絡(luò)訓(xùn)練，從單個(gè)樣例生成多樣結(jié)果。

論文 4：Spatio-temporal Diffusion Point Processes

作者：Yuan Yuan 等
論文地址：https://arxiv.org/abs/2305.12403

摘要：清華電子工程系城市科學(xué)與計(jì)算研究中心最新提出時(shí)空擴(kuò)散點(diǎn)過程，突破已有方法建模時(shí)空點(diǎn)過程的受限概率形式和高采樣成本等缺陷，實(shí)現(xiàn)了靈活、高效且易于計(jì)算的時(shí)空點(diǎn)過程模型，可廣泛用于城市自然災(zāi)害、突發(fā)事故和居民活動(dòng)等時(shí)空事件的建模與預(yù)測，促進(jìn)城市規(guī)劃和管理的智能化發(fā)展。下表展示 DSTPP 相比已有點(diǎn)過程解決方案的優(yōu)勢。

推薦：擴(kuò)散模型還能預(yù)測地震和犯罪？清華團(tuán)隊(duì)最新研究提出時(shí)空擴(kuò)散點(diǎn)過程。

論文 5：SpQR: A Sparse-Quantized Representation for Near-Lossless LLM Weight Compression

作者：Tim Dettmers 等
論文地址：https://arxiv.org/pdf/2306.03078.pdf

摘要：為了解決準(zhǔn)確性問題，來自華盛頓大學(xué)、蘇黎世聯(lián)邦理工學(xué)院等機(jī)構(gòu)的研究者提出了一種新的壓縮格式和量化技術(shù) SpQR（稀疏 - 量化表征），首次實(shí)現(xiàn)了 LLM 跨模型尺度的近無損壓縮，同時(shí)達(dá)到了與以前方法相似的壓縮水平。

SpQR 通過識(shí)別和隔離異常權(quán)重來工作，這些異常權(quán)重會(huì)導(dǎo)致特別大的量化誤差，研究者將它們以更高的精度存儲(chǔ)，同時(shí)將所有其他權(quán)重壓縮到 3-4 位，在 LLaMA 和 Falcon LLMs 中實(shí)現(xiàn)了不到 1% 的困惑度相對(duì)準(zhǔn)確率損失。在單個(gè) 24GB 的消費(fèi)級(jí) GPU 上運(yùn)行 33B 參數(shù)的 LLM，而不會(huì)有任何性能下降，同時(shí)還能提高 15% 的速度。下圖 3 為 SpQR 的總體架構(gòu)。

推薦：將 330 億參數(shù)大模型「塞進(jìn)」單個(gè)消費(fèi)級(jí) GPU，加速 15%、性能不減。

論文 6：UniControl: A Unified Diffusion Model for Controllable Visual Generation In the Wild

作者：Can Qin 等
論文地址：https://arxiv.org/abs/2305.11147

摘要：本文中，Salesforce AI、東北大學(xué)、斯坦福大學(xué)的研究者提出了 MOE-style Adapter 和 Task-aware HyperNet 來實(shí)現(xiàn) UniControl 中的多模態(tài)條件生成能力。UniControl 在九個(gè)不同的 C2I 任務(wù)上進(jìn)行訓(xùn)練，展示了強(qiáng)大的視覺生成能力和 zero-shot 泛化能力。UniControl 模型由多個(gè)預(yù)訓(xùn)練任務(wù)和 zero-shot 任務(wù)組成。

推薦：多模態(tài)可控圖片生成統(tǒng)一模型來了，模型參數(shù)、推理代碼全部開源。

論文 7：FrugalGPT: How to Use Large Language Models While Reducing Cost and Improving Performance

作者：Lingjiao Chen 等
論文地址：https://arxiv.org/pdf/2305.05176.pdf

摘要：成本和準(zhǔn)確性之間的平衡是決策制定的關(guān)鍵因素，尤其是在采用新技術(shù)時(shí)。如何有效和高效地利用 LLM 是從業(yè)者面臨的關(guān)鍵挑戰(zhàn)：如果任務(wù)相對(duì)簡單，那么聚合來自 GPT-J （其規(guī)模比 GPT-3 小 30 倍）的多個(gè)響應(yīng)可以實(shí)現(xiàn)與 GPT-3 類似的性能，從而實(shí)現(xiàn)成本和環(huán)境上的權(quán)衡。然而，在較為困難任務(wù)上，GPT-J 的性能可能會(huì)大大下降。因此，如何經(jīng)濟(jì)高效地使用 LLM 需要采用新的方法。

最近的一項(xiàng)研究嘗試提出解決這一成本問題的方法，研究者通過實(shí)驗(yàn)表明，F(xiàn)rugalGPT 可以與最佳個(gè)體 LLM（例如 GPT-4）的性能相媲美，成本降低高達(dá) 98%，或者在相同成本下將最佳個(gè)體 LLM 的準(zhǔn)確性提高 4%。該研究討論了三種降低成本的策略，即 prompt 適應(yīng)、LLM 近似和 LLM 級(jí)聯(lián)。