小米YU7開啟預定3分鐘訂單破20萬，1小時逼近29萬，引爆全球車市。現象級熱銷背后，是其AI技術對汽車產品力的系統性重構。 上個月，小米YU7以25.35萬元起售價切入中大型純電SUV市場，開啟預定后僅3分鐘訂單突破20萬臺，1小時攀升至28.9萬臺，直接超越了特斯拉ModelY今年前五個月在華總銷量，引發(fā)全球汽車行業(yè)的熱議。 其中，網上不乏對小米外觀設計的“抄襲”爭議。有網友發(fā)現，YU7的外觀設計風格，與法拉利的首款SUV...

編輯伊風出品51CTO技術棧（微信號：blog51cto）Grok4真的要來了！馬斯克預告多次的Grok3.5跳票，直接給大家端上4.0的更強版本。為了這一次發(fā)布能夠給AI圈一點震撼，Grok團隊也是真的夠拼，又一次把帳篷搭進了辦公室。圖片此前，馬斯克已經官宣將在7.4日后正式上線。但就在剛剛，X網友AiBattle爆料稱：Grok4的源碼疑似泄露！從泄露內容來看，Grok4系列至少包含兩個模型：?一款通用旗艦模型?一款專為編程設計的代碼模型Grok4：...

01、概述隨著人工智能助手的廣泛應用，我們已經見證了AI技術在推理和質量方面的飛速進展。然而，即便是最先進的AI模型，也面臨著與數據源隔絕的問題——它們被信息孤島和老舊的系統所限制。每一條新的數據源都需要定制化的集成，真正連接各類系統的難度不言而喻。為了解決這一問題，我們今天正式開源了模型上下文協議（MCP，ModelContextProtocol）。這一全新的標準為AI助手提供了一種簡單而有效的方式，使其能夠無縫連接各類數...

編輯云昭Prompt工程又“失效”了？！之前是各種白領對它“喊打喊殺”，擔心它取代自己的工作，后來的口風就變成了“大模型強大到不再需要Prompt工程了”，現在圈里又有谷歌的大佬拋出了神斷言，讓評論區(qū)炸鍋的那種。今天一早，小編刷到一篇洗腦神文，差點以為這是新一輪的AI黑話洗腦包上線了。文章直呼：“Prompt工程”格局小了，更大格局的“Context工程”才是大模型的王道。不過細讀下來，小編并沒有作者其實是醉翁之意不在酒...

文章鏈接：https:arxiv.orgpdf2406.09402項目地址：https:immortalco.github.ioInstruct4Dto4D今天和大家一起學習的是Instruct4Dto4D，可以通過2D擴散模型實現4D感知和時空一致性，以生成高質量的指令引導的動態(tài)場景編輯結果。先一起來看看4D編輯的精彩效果：傳統的2D擴散模型在動態(tài)場景編輯中的應用通常會導致不一致，主要原因在于其固有的逐幀編輯方法。為了解決將指令引導的編輯擴展到4D的復雜性，本文的關鍵洞察是將4D場景...

想象一下，你僅需要輸入一段簡單的文本描述，就可以生成對應的3D數字人動畫的骨骼動作。而以往，這通常需要昂貴的動作捕捉設備或是專業(yè)的動畫師逐幀繪制。這些骨骼動作可以進一步的用于游戲開發(fā)，影視制作，或者虛擬現實應用。來自阿爾伯塔大學的研究團隊提出的新一代Text2Motion框架，MoMask，正在讓這一切變得可能。MoMask框架是基于多層離散化動作表示的，利用生成式掩碼技術，能夠生成更高質量的3D人體動作。如視頻1中展示...

3D生成是生成式人工智能和計算機圖形學領域最引人注目的話題之一，符合影視、游戲標準的3D生成尤其受產業(yè)界關注。在生產流程中，一般品類的3D資產往往通過手工建模或者掃描的方式制作。但作為3D資產的一個重要類別，服裝資產的往往來源于平面板片與物理模擬等流程，而不是直接在3D上建模。上海科技大學、影眸科技與賓夕法尼亞大學聯合提出DressCode，它是首個完全支持CG操作，能夠兼容到工業(yè)流程的3D服裝生成框架，并通過文本的...

全球社交、科技巨頭Meta發(fā)布了全新文生3D模型——Meta3DGen。用戶通過Meta3DGen僅需1分鐘就能生成人物、動物、道具、服飾、工業(yè)設計等不同類型的高質量3D模型。Meta3DGen不僅生成的內容是高分辨率的紋理和材質貼圖，還支持物理渲染光影效果非常好，適用于游戲開發(fā)、電影制作、虛擬現實、建筑設計等領域，幫助開發(fā)人員節(jié)省大量時間。多視圖到3D重建多視圖到3D重建是Meta3DGen的兩大核心模塊之一，主要將用戶輸入的文本提示轉換為...

使用大模型合成的數據，就能顯著提升3D生成能力？來自上海交大、香港中文大學等團隊還真做到了。他們推出Bootstrap3D框架，結合微調的具備3D感知能力的多模態(tài)大模型。這個框架能夠自動生成任意數量的高質量的多視角圖片數據，助力多視圖擴散模型的訓練。結果表明，新的合成數據能夠顯著提高現有3D生成模型的生成物體的美學質量和文本prompt的控制能力。目前，Bootstrap3D的數據集已經全面開源。用大模型合成數據近年來，3D內容...

最近，高斯濺射（GaussianSplatting）在新視角合成領域掀起了一輪革命性浪潮，取代上一代技術神經輻射場（NeRF）成為學界業(yè)界頂流。而真實場景往往是動態(tài)的，如何合成動態(tài)場景的新視角是更具價值與挑戰(zhàn)的領域。?隨著圖形學與AI的發(fā)展，數字資產的創(chuàng)造日益引起人們的重視。對于重建的真實場景進行編輯也是AIGC領域業(yè)內關注的熱門方向，其為制作數字資產提供了高效與便捷。香港大學CVMI實驗室攜手3D大模型公司VAST與浙江大學，提...

無需采集3D數據，也能訓練出高質量的3D自動駕駛場景生成模型。這是來自香港中文大學、香港科技大學和華為諾亞方舟實驗室的最新研究成果——針對自動駕駛街景的可控3D場景生成方法“MagicDrive3D”。此前，采用常見的2D自動駕駛數據集來生成3D街景的方法不是沒有，但受采集角度所限，生成結果的可控性和幾何一致性無法同時滿足。而現在，MagicDrive3D通過結合可控生成與場景重建解決了這一限制。不僅支持多條件控制，還突破了原...

在當今數字化時代，3D資產在元宇宙的建構、數字孿生的實現以及虛擬現實和增強現實的應用中扮演著重要角色，促進了技術創(chuàng)新和用戶體驗的提升。現有的3D資產生成方法通常利用生成式模型基于空間變化雙向反射分布函數（SVBRDF,SpatiallyVaryingBidirectionalReflectanceDistributionFunction）在預設光照條件下推斷表面位置的材質屬性特征。然而，這些方法很少考慮到人們對身邊常見物體的表面材質認知構建出的強大且豐富的先驗知識...

文章鏈接：https:arxiv.orgpdf2405.14832github鏈接：https:nju3dv.github.ioprojectsDirect3D從文本和圖像生成高質量的3D資產一直是一項挑戰(zhàn)，主要是由于缺乏能夠捕捉復雜幾何分布的可擴展3D表示。在這項工作中，介紹了Direct3D，這是一種可擴展到inthewild輸入圖像的原生3D生成模型，不需要多視角擴散模型或SDS優(yōu)化。方法包括兩個主要組件：Direct3DVariationalAutoEncoder（D3DVAE）和Direct3DDiffusionTransformer（D3DDiT...

隨著擴散模型的不斷創(chuàng)新，文生圖領域出現了Midjourney、StableDiffusion、DALLE3等一系列知名產品。但在文本生成多視角3D圖像方面一直存在諸多技術難點，Meta和德國慕尼黑工業(yè)大學的研究人員聯合開發(fā)了創(chuàng)新模型——ViewDiff。用戶通過文本、圖像或二者結合使用，就能生成高質量多視角3D圖像，可幫助游戲開發(fā)、元宇宙等行業(yè)快速構建模型。根據測試數據顯示，ViewDiff生成的圖像在一致性和視覺質量方面非常出色，并將FID、KID的數...

浙江大學、螞蟻集團、深圳大學聯合推出了創(chuàng)新模型MaPa。與傳統紋理方法不同的是，MaPa通過文本能直接生成高分辨率、物理光照、超真實材質的3D模型，可以極大提升游戲、VR、AR、影視等行業(yè)的開發(fā)效率。研究人員在多個知名平臺對MaPa進行了綜合測試。結果顯示，在無參考圖像的情況下MaPa生成的模型材質、分辨率、局部細節(jié)，比TEXTure、Text2tex、Fantasia3D等模型的效果更好。論文地址：https:arxiv.orgabs2404.17569MaPa功能展示...

鏈接地址：https:arxiv.orgpdf2404.14381代碼鏈接：https:github.comOpenNLPLabTAVGBench文本到可聽視頻生成（TAVG）任務涉及根據文本描述生成帶有配套音頻的視頻。要實現這一目標，需要巧妙地對齊音頻和視頻元素。為了支持這一領域的研究，本文開發(fā)了一個全面的文本到可聽視頻生成基準（TAVGBench），其中包含超過170萬個片段，總時長為11800小時。本文提出了一個自動標注pipeline，以確保每個可聽視頻都有關于其音頻和視頻內...

生成式AI初創(chuàng)公司aiOla在官網開源了最新語音模型WhisperMedusa，推理效率比OpenAI開源的Whisper快50%。aiOla在Whisper的架構之上進行了修改采用了“多頭注意力”機制的并行計算方法，允許模型在每個推理步驟中預測多個token，同時不會損失性能和識別準確率。開源地址：https:github.comaiolalabwhispermedusahuggingface：https:huggingface.coaiolawhispermedusav1傳統的Transformer架構在生成序列時，是遵循逐個token的順序預...

當我們在談論「開源」時，我們到底在談論什么？在軟件時代，「開源」的概念并不模糊。我們可以非常清楚自信地說，Linux是開源的，Windows是閉源的。更具體地說，曾經的「開源」是指能夠訪問、修改源代碼，并對程序的使用或發(fā)行不加限制。但進入AI時代，這個概念變得愈發(fā)模糊。關于人工智能模型的「開源」到底如何界定，社區(qū)和行業(yè)專家仍未達成一致。成立于1998年的OpenSourceInitiative（OSI）就始終在主持一個在線論壇，方便對...

最近，一篇題為AIHasanUberProblem（TheInformation）的文章引人深思。作者TimO'Reilly指出：當初Uber和Lyft利用豐厚的風投資金補貼車費，趕走了競爭對手。如今OpenAI等財大氣粗的AI初創(chuàng)企業(yè)，正在重復這種Uber模式。在國內，我們常說滴滴是“虛假壟斷”——下架18個月，歸來仍是王者&成立至今，累計虧損超千億元。當Facebook們已經憑借網絡效應搶先一步成為“贏家”時，同樣具備網絡效應的滴滴們卻還在持續(xù)燒錢，而且只能燒錢...

剛剛，OpenAI收購了數據庫初創(chuàng)公司Rockset。公司由Facebook工程師創(chuàng)立，主打實時搜索和數據分析，能夠實現毫秒級延遲。這項收購作價5億美元（約36億人民幣），而且與之前收購另一家公司不同，這次除了要人，技術也會被整合進OpenAI的產品。按照官方說法，這次收購將增強OpenAI的檢索基礎設施，幫助企業(yè)把數據轉化為“可操作的智能”（actionableintelligence）。有網友表示，OpenAI的算法和算力都已經很強了，此次收購也將幫助...

4月25日晚，斯坦福大學日報消息，OpenAI聯合創(chuàng)始人兼首席執(zhí)行官SamAltman，在斯坦福大學的英偉達（NVIDIA）禮堂進行了公開演講，超過1000名學生排隊參加此次活動。Altman表示，從現在的技術創(chuàng)新和功能迭代來看，人類遠遠沒有達到AI的極限，如果只是聚焦現在的AI能力將會是徒勞的。一年前，OpenAI發(fā)布GPT4模型時，全世界陷入瘋狂，認為將徹底改變很多行業(yè)的工作模式。如今我們回頭再看GPT4，經常會譏諷地說，“它看起來好蠢啊GPT...

5月16日，OpenAI首席執(zhí)行官SamAltman接受了，硅谷著名風險投資公司紅點（Redpoint）的董事兼總經理LoganBartlett專訪。本周二，OpenAI重磅發(fā)布了可跨文本、視頻、音頻推理的多模態(tài)大模型GPT4o，其多元化的玩法、低延遲以及擬人化的聲音，讓11年前的科幻電影《Her》成為現實，人人都能擁有一個超強語音AI助手，似乎人類離AGI又更近了一步。下面，「AIGC開放社區(qū)」根據這部46分鐘的專訪視頻，以問答和解讀的方式為大家整理所有主...

隨著現代大語言模型（LLMs）如OpenAI的ChatGPT和GPT4的出現，LLMs展示了生成類人對話和解決復雜數學難題的非凡能力。從Meta在4月18日發(fā)布Llama38B&70B開始，Qwen開源的首個百B大模型Qwen1.5110B，到深度求索的MoE模型DeepSeekV2，還有近幾日OpenAI放出的大招GPT4o，號稱更低的價格，更強的性能，大家都號稱自己的新模型數學能力頂呱呱，但事實真是這樣嗎？如何透明化評測大模型的各項數學能力如今成了大家的難題，因為開源數據...

前天OpenAI發(fā)布了GPT4o王炸產品，震撼了很多人，再一次顛覆了世界，它在技術上主要實現了三大突破：①語音實現了真正的端到端的神經網絡訓練；②多模態(tài)的大一統的神經網絡模型開始出現；③降本增效成了OpenAI的當務之急。今天我們聊些不一樣的話題，GPT4o如何顛覆我們的生活？GPT4o在多模態(tài)方面強大的感知能力，特別是語音端到端響應速度的巨大提升，讓新版ChatGPT在生活中有更加落地的使用場景。這里總結了5大日常生活場景，下...

引言產品同質化嚴重，競爭的焦點從產品轉向服務，企業(yè)的管理模式也要相應轉變。那么如何打造圍繞服務的核心競爭力？相信以下案例會給大家一些啟發(fā)。項目背景：售后服務在市場競爭中的作用凸顯A公司是一家醫(yī)療器械生產制造企業(yè)。隨著市場競爭不斷演變和科技水平日益發(fā)達，同類產品間的差異越來越小，產品同質化越來越嚴重，企業(yè)在質量、價格、品牌上越來越難分高下，企業(yè)營銷的威力被大大削弱。于是，市場競爭越來越體現在服務領...

我們正處在一個AI應用爆發(fā)的時代，各種基于大型語言模型（LLM）的應用層出不窮。然而，在眼花繚亂的技術名詞背后，真正決定這些應用智能化程度和用戶體驗的關鍵要素是什么？我認為是上下文管理。LLM的智能之源：對上下文的精準把握要理解上下文管理的重要性，我們必須回到LLM的核心工作原理。正如之前所述，LLM的本質是預測下一個token。這種預測能力看似簡單，卻蘊含著巨大的潛力，因為預測的準確性完全依賴于上下文的質量和廣...

在大型語言模型（LLM）的應用中，有幾個場景需要以結構化的方式呈現數據，其中信息提取和查詢分析是兩個典型的例子。我們最近通過更新的文檔和一個專門的代碼倉庫強調了信息提取的重要性。對于查詢分析，我們同樣更新了相關文檔。在這些場景中，數據字段可能包括字符串、布爾值、整數等多種類型。而在這些類型中，處理高基數的分類值（即枚舉類型）是最具挑戰(zhàn)性的。所謂的“高基數分類值”，指的是那些必須從有限的選項中選擇的...

一、結論寫在前面論文標題：InDefenseofRAGintheEraofLongContextLanguageModels論文鏈接：??https:arxiv.orgpdf2409.01666??克服早期生成式大型語言模型（LLMs）的有限上下文限制，檢索增強生成（RAG）在過去一直是基于上下文的答案生成的可靠解決方案。最近，長上下文LLMs的出現使得模型能夠整合更長的文本序列，使得RAG變得不那么吸引人。最近的研究表明，長上下文LLMs在長上下文應用中顯著優(yōu)于RAG。與現有傾向于長上下...

?“生成式AI或者說AIGC的本質是一種基于概率分布的數據表征技術”最近一段時間一直在做AIGC(人工智能生成內容)方面的應用，而AIGC屬于生成式AI的范疇；剛開始只是把這些生成式AI拿過來用一下，但隨著對大模型了解的加深，突然發(fā)現生成式AI好像也沒有那么簡單。比如說，生成式AI是怎么實現的？可能有人會這么回答，是基于Transformer等架構實現，基于概率分布的一種模型。當然，這么說好像也沒錯，但非生成式AI又是怎么實現的呢...

少些滾動，多點專注。在這個用時15分鐘的Python項目中，我們將借助氛圍編程編寫一個簡潔、無干擾的速讀應用程序。想象一下：你想構建一個速讀應用程序。你無需花數小時研究要使用哪些Python模塊和庫、編寫不同的組件代碼以及調試語法錯誤，只需用簡單的英語描述需求即可。短短幾分鐘內，你就可以調整字體大小，并與AI編程伙伴討論改進用戶體驗。這就是氛圍編程，這種協作方法利用自然語言指令通過迭代對話，幫助構建實用的應用...

譯者李睿審校重樓在自然語言處理(NLP)的動態(tài)環(huán)境中，大型語言模型(LM)性能的評估是衡量其在各種下游應用程序中的有效性的關鍵因素。不同的應用程序需要與其目標一致的不同性能指標。本文將詳細介紹各種LLM評估指標，探索它們如何應用于實際場景。從傳統的摘要任務到更細致的場景評估，了解用于評估LLM熟練程度的不斷發(fā)展的方法，揭示了它們的優(yōu)勢、局限性以及在推動NLP研究和應用方面的實際意義。以下是一些常見的文本應用程序...

基于Transformer的大語言模型（LLM）具有很強的語言理解能力，但LLM一次能夠讀取的文本量仍然受到極大限制。除了上下文窗口較小外，LLM的性能會隨著輸入內容長度的增加而下降，即便輸入內容未超過模型的上下文窗口長度限制也是如此。相比之下，人類卻可以閱讀、理解和推理很長的文本。LLM和人類在閱讀長度上存在差異的主要原因在于閱讀方法：LLM逐字地輸入精確的內容，并且該過程相對被動；但過于準確的信息往往會被遺忘，而閱...

“本地知識庫就相當于大模型的外部資料庫。”很多人應該都聽過本地知識庫項目，它是當今人工智能領域爆火的項目之一，那么到底什么是本地知識庫？它和大模型有什么關系？怎么構建本地知識庫？01、為什么需要本地知識庫？其實本地知識庫和大模型本身沒有什么直接關系，可以說它們是兩個完全獨立的技術。但因為大模型的幻覺問題和大模型的數據更新遲緩，因此才把知識庫技術與大模型技術相結合，產生了大模型知識庫技術。什么是知...

我們要把AI大模型當做人的大腦，因此調用AI大模型，相當于調用一個人，把AI大模型當人看，TA懂人話、TA說人話、TA會直接給出結果，但結果不一定正確。因此在AI大模型的推理基礎上，通過RAG、Agent、知識庫、向量數據庫、知識圖譜等技術手段實現了真正的AGI（通用人工智能）。這些技術到底有哪些區(qū)別和聯系，下圖作了橫向對比，接下來我們詳細剖析。1、大語言模型（LLM）大語言模型（LLM）是通過深度學習方法，利用龐大的文本數...

LLM已經可以理解文本和圖片了，也能夠根據它們的歷史知識回答各種問題，但它們或許對周圍世界當前發(fā)生的事情一無所知。現在LLMs也開始逐步學習理解3D物理空間，通過增強LLMs的「看到」世界的能力，人們可以開發(fā)新的應用，在更多場景去獲取LLMs的幫助。AIAgent，比如機器人或是智能眼鏡，它們可以通過感知和理解環(huán)境來回答一些開放性問題，比如「我把鑰匙放哪里了？」這樣的AIAgent需要利用視覺等感知模式來理解其周圍環(huán)境，并能...

作者EmiliaDavid編譯伊風出品51CTO技術棧（微信號：blog51cto）AI搜索正在向更深處走去。AI搜索的領頭羊——Perplexity最近對其ProSearch人工智能工具進行了升級。主要改進是啟動了多步驟推理，這使得AI搜索可以解決更復雜的問題。Perplexity能理解問題何時需要規(guī)劃，逐步實現目標，并更高效地合成綜合答案，同時可以在先前結果的基礎上啟動后續(xù)搜索。無獨有偶，騰訊所推出的大模型應用元寶，也布局了AI搜索。當用戶進行提問時...

生成式人工智能（GenAI）已經成為一種提高生產力和處理日常任務的強大工具。這種工具可以根據收到的輸入創(chuàng)建新的內容，包括文本、圖像甚至代碼。雖然這種工具大有潛力，但有效地發(fā)掘它們的力量卻需要一種特定的技能，即編寫優(yōu)秀提示的能力。提示是我們賦予AI工具的指令，以指導它們的輸出。可以把提示看作是現代版的計算機代碼，只不過用自然語言編寫。就像傳統編程一樣，有一些有效和無效的方法來創(chuàng)建提示。不妨探索提示編寫之...

全球AI領導者NVIDIA（英偉達）在2025年CES展會上，開源了全新世界大模型NVIDIACosmos。Cosmos能從數據整合、訓練再到定制各個開發(fā)階段的，大規(guī)模模擬、構建物理世界的基礎模型，同時支持自定義微調。例如，你想開發(fā)一個實體倉儲機器人，但沒有真實大型倉儲環(huán)境為機器人提供貨物搬運、揀選、分揀等訓練環(huán)境，通過Cosmos就能輕松創(chuàng)建一個模擬的物理倉儲環(huán)境，來訓練、觀察、優(yōu)化機器人各種動作。在自動駕駛領域，想觀察汽車在大雨...

譯者李睿審校重樓生成式人工智能(GenAI)是當今科技界的一個熱門話題。它是人工智能的一個子集，專注于創(chuàng)造新的內容，例如文本、圖像或音樂。GenAI組件的一種流行類型是大型語言模型(LLM)，它可以根據提示生成類似人類的文本。檢索增強生成(RAG)是一種基于外部知識來源來提高生成式人工智能模型準確性和可靠性的技術。雖然大多數GenAI應用程序和相關內容都以Python及其生態(tài)系統為中心，但如果采用Java編寫GenAI應用程序應該怎么...

你在考慮在產品中使用LLM時，可以使用具有三個階段的框架。這個框架將幫助定義問題、選擇適合的模型、創(chuàng)建有效的提示，并確保整個流程在投入生產時有效。有許多研究和演示表明，大型語言模型(LLM)可以執(zhí)行令人印象深刻的任務。雖然并沒有一種萬能的方法，但可以嘗試創(chuàng)建一些指南，以幫助人們更好地在LLM所帶來的創(chuàng)新和困惑中導航。在考慮是否以及如何在產品中使用LLM時，可以使用具有以下三個階段的框架。它可以幫助定義問題，...

1、SpringAI開發(fā)框架介紹SpringAI借鑒了LangChain（Python）的靈感，后者支持與AI和多種LLM集成。目前SpringAI提供了多種大模型和向量數據庫供您選擇。可以登錄官網（https:spring.ioprojectsspringai）查看SpringAI的更詳細文檔。今天的SpringAI項目中會使用到Vaadin，Vaadin是一個基于Java和Kotlin的Web應用開發(fā)框架。2、開始構建大模型應用項目第一、需求開發(fā)一款能夠匯總股票市場周報的工具。第二、項目效果項目效果如下：...

本教程介紹了如何使用OpenAI最新的LLMGPT4o通過函數調用將實時數據引入LLM。我們在LLM函數調用指南(詳見https:thenewstack.ioacomprehensiveguidetofunctioncallinginllms)中討論了如何將實時數據引入聊天機器人和代理。現在，我們將通過將來自FlightAware.com的API與新的GPT4o模型集成，進一步探究這個概念，以便實時跟蹤航班狀態(tài)。FlightAware的AeroAPI是一個可靠的充分利用REST的API，提供按需訪問航班跟蹤和狀態(tài)數據。它允...

Picsart人工智能研究所、德克薩斯大學和SHI實驗室的研究人員聯合推出了StreamingT2V視頻模型。通過文本就能直接生成2分鐘、1分鐘等不同時間，動作一致、連貫、沒有卡頓的高質量視頻。雖然StreamingT2V在視頻質量、多元化等還無法與Sora媲美，但在高速運動方面非常優(yōu)秀，這為開發(fā)長視頻模型提供了技術思路。研究人員表示，理論上，StreamingT2V可以無限擴展視頻的長度，并正在準備開源該視頻模型。論文地址：https:arxiv.orgabs2...

從文本生成視頻已取得了長足的進展，但在制作更長的多場景故事時仍然會遇到瓶頸。雖然Sora、Veo和MovieGen之類的擴散模型已提高了視覺質量的門檻，但它們通常僅限于20秒以內的片段。真正的挑戰(zhàn)是什么？上下文。從一段文本生成一段一分鐘的故事驅動型視頻需要模型處理數十萬個token，同時保持敘事和視覺的連貫性。英偉達、斯坦福大學、加州大學伯克利分校及其他機構的這項新研究應運而生，它引入了一種名為測試時間訓練（TTT）的...

LLMs通過純文本語言（例如英語）執(zhí)行命令的能力使得能夠完成用戶查詢的代理系統得以實現，通過協調正確的工具集合（例如ToolFormer、Gorilla）。這個能力以及最近的多模態(tài)努力，比如GPT4o或Gemini1.5模型，已經擴展了AI代理的可能性范圍。雖然這非常令人興奮，但這些模型的龐大尺寸和計算需求通常需要在云端進行推理。這可能會為它們的廣泛應用帶來幾個挑戰(zhàn)。首先，將視頻、音頻或文本文檔等數據上傳到云端的第三方供應商可能會...

X射線衍射（Xraydiffraction,XRD）的發(fā)現和應用堪稱晶體學發(fā)展中的一個重要里程碑，因為該技術使得人們能夠深入了解晶體的微觀結構，繼而帶動了材料學和整個人類文明的進步。然而，當傳統的方法與由微小顆粒組成的粉末狀納米晶體不期而遇時，理想的結果卻并未發(fā)生。由于納米晶體尺寸有限（通常小于1000?），其X射線衍射圖譜中布拉格峰會出現明顯展寬，導致結構信息出現嚴重的實質性退化，這為精確解析其晶體結構帶來了巨大挑戰(zhàn)...

OpenAI宣布開始向小部分ChatGPTPlus用戶，測試GPT4o的高級語音模式。本次測試將主要搜集安全、功能方面的反饋，OpenAI會在8月初分享一份全面的GPT4o評估報告。隨后，還會發(fā)布視頻和屏幕共享新功能。獲取測試權限的用戶會收到OpenAI發(fā)送的一份郵件，一位專門寫AI專欄的作者已經拿到了測試資格。他希望GPT4o可以像足球解說員那樣，用激情的語氣去解說一場球賽，并在最關鍵的進球時刻表現出熱血澎湃的吶喊。第一次GPT4o好像并沒有...

筆者在前期一個系列分享了各種文檔智能相關的技術方法，可以參考《??文檔智能系列欄目??》，涵蓋各種常見方法。下面直接看看這個端到端的文檔智能結構化方法，供參考。方法一、架構紅色三部分組成的模型結構ECLAIR采用了一個較大的視覺編碼器（657M參數ViTH16）和一個較輕量級的解碼器（279M參數mBART）組成端到端的模型，主要為了在推理時提高效率。ECLAIR包括以下幾個組件：視覺編碼器（VisionEncoder）ECLAIR的視覺編碼...

編輯伊風出品51CTO技術棧（微信號：blog51cto）“OpenAI轉向谷歌芯片”？這事恐怕真被大家誤會了。幾天前，路透社爆出猛料——知情人士稱，OpenAI已經開始租用谷歌的AI芯片TPU，用來支撐ChatGPT和其他產品的運行。這意味著OpenAI將首次在大規(guī)模業(yè)務中啟用非英偉達的AI芯片。這消息一出，立刻引發(fā)轟動——OpenAI不是英偉達GPU最大買家之一嗎？現在突然“投奔”谷歌？是不是意味著，AI戰(zhàn)爭的芯片格局要變了？圖片但事情很快來了個...

編者按：本文介紹的CRAG技術通過引入輕量級檢索評估機制和知識精煉算法，試圖解決傳統檢索增強生成（RAG）方法在處理復雜查詢語句時存在的問題（包括檢索結果不夠精確、引入無關信息等），這些問題會影響模型回答的質量。CRAG技術如何評估檢索文檔與用戶查詢之間的相關性？檢索評估器的具體工作原理是什么？CRAG的知識精煉算法是如何工作的？它如何確保在“細分再整合”的過程中不會丟失重要信息？如若您現在對這些問題充滿好奇...