在數(shù)字化浪潮席卷全球的今天，數(shù)據(jù)已成為驅(qū)動社會進(jìn)步與經(jīng)濟(jì)發(fā)展的核心燃料。然而，“數(shù)據(jù)孤島”現(xiàn)象普遍存在，不同機(jī)構(gòu)、企業(yè)之間的數(shù)據(jù)因隱私、安全和法規(guī)的限制而難以流通與融合，極大地阻礙了數(shù)據(jù)價值的深度挖掘。在此背景下，如何在不泄露各方原始數(shù)據(jù)的前提下進(jìn)行聯(lián)合計算，成為了一個至關(guān)重要的核心挑戰(zhàn)。多方安全計算（MultiPartyComputation,MPC）為此提供了強(qiáng)大的理論框架和技術(shù)路徑，它描繪了一個無需可信第三方即可...

引言：人工智能輔導(dǎo)的新紀(jì)元隨著大型語言模型（LLMs）技術(shù)的飛速發(fā)展，其應(yīng)用邊界正以前所未有的速度擴(kuò)展，其中教育領(lǐng)域，特別是個人化輔導(dǎo)，展現(xiàn)出巨大的潛力。利用LLMs作為后端，構(gòu)建各種智能輔導(dǎo)系統(tǒng)（IntelligentTutoringSystems,ITSs）和學(xué)習(xí)助手已成為研究和應(yīng)用的熱點。從可汗學(xué)院的Khanmigo到各類編程學(xué)習(xí)輔助工具，AI正逐步滲透到學(xué)習(xí)的各個環(huán)節(jié)。學(xué)生群體中，使用如ChatGPT等通用工具進(jìn)行學(xué)習(xí)輔dǎo的現(xiàn)象也日益普遍...

電子科技大學(xué)研究人員的論文《InPK:InfusingPriorKnowledgeintoPromptforVisionLanguageModels》提出了一種新穎的方法，即通過將先驗知識融入到視覺語言模型（VLM）的提示中，以提升模型在零樣本和少樣本視覺識別任務(wù)中的性能。本文將結(jié)合論文詳細(xì)介紹InPK的技術(shù)原理、實現(xiàn)方法、實驗結(jié)果及其在視覺語言模型領(lǐng)域中的意義。背景近年來，在大型圖像文本數(shù)據(jù)集上預(yù)訓(xùn)練的視覺語言模型（VLM），例如CLIP，已經(jīng)在各種下游任務(wù)中展現(xiàn)...

1.背景1.1AI芯片設(shè)計的當(dāng)前挑戰(zhàn)與新興計算范式概覽人工智能（AI）的飛速發(fā)展，特別是以Transformer為代表的深度學(xué)習(xí)模型的廣泛應(yīng)用，對計算硬件提出了前所未有的要求。傳統(tǒng)的馮·諾依曼架構(gòu)在處理這些大規(guī)模、高并行的AI負(fù)載時，其性能和效率日益受到“功耗墻”（powerwall）和“架構(gòu)墻”（architecturewall）的根本性制約。隨著模型規(guī)模的持續(xù)膨脹，其計算復(fù)雜度和內(nèi)存需求呈爆炸式增長，這迫使學(xué)術(shù)界和工業(yè)界必須跳出傳統(tǒng)思維...

引言：多學(xué)科協(xié)作醫(yī)療咨詢的挑戰(zhàn)與機(jī)遇在現(xiàn)代醫(yī)學(xué)實踐中，面對日益復(fù)雜的疾病，單一專科的視角往往難以滿足患者全面、精準(zhǔn)的診療需求。多學(xué)科團(tuán)隊（MultiDisciplinaryTeam,MDT）診療模式應(yīng)運而生，通過系統(tǒng)性地整合不同醫(yī)學(xué)領(lǐng)域的專業(yè)知識，旨在制定更準(zhǔn)確、更全面的治療策略，從而改善患者預(yù)后。MDT模式的核心價值在于其能夠匯聚跨學(xué)科的智慧，克服單一專科可能存在的局限性，為患者提供最佳的個體化診療方案。然而，傳統(tǒng)的MDT...

隨著人工智能（AI）和機(jī)器學(xué)習(xí)（ML）在金融、醫(yī)療、自動駕駛等高風(fēng)險、高影響力的關(guān)鍵領(lǐng)域日益普及，對其決策過程透明度和可解釋性的需求變得前所未有地迫切。復(fù)雜的模型，如深度神經(jīng)網(wǎng)絡(luò)和集成樹模型，常因其內(nèi)部運作機(jī)制難以捉摸而被視為“黑箱”，這嚴(yán)重制約了它們在實際應(yīng)用中的可靠性、公平性以及用戶的信任度。可解釋人工智能（ExplainableAI,XAI）致力于開發(fā)能夠使人類理解、信任并有效管理AI系統(tǒng)決策過程的方法與技術(shù)。...

隨著大型語言模型（LLM）技術(shù)的飛速發(fā)展，基于LLM的智能體（LLMagents）正以前所未有的速度滲透到各行各業(yè)，從自動化客戶服務(wù)、內(nèi)容創(chuàng)作到數(shù)據(jù)分析乃至醫(yī)療輔助，深刻地改變著我們的工作與生活方式。為了充分釋放智能體的潛力，研究者們設(shè)計了多種架構(gòu)，旨在促進(jìn)智能體與外部實體——包括非智能體直接控制的數(shù)據(jù)源、工具以及其他在線智能體——之間的有效通信。然而，隨著應(yīng)用場景的擴(kuò)展和來自不同供應(yīng)商、采用不同架構(gòu)的智能體...

1.引言在理論計算機(jī)科學(xué)領(lǐng)域，計算的概念及其能力的研究占據(jù)著核心地位。為了深入理解計算的本質(zhì)和不同計算模型的潛力，研究人員常常會借助抽象機(jī)器的概念。這些抽象機(jī)器，例如圖靈機(jī)，為我們提供了一個形式化的框架來探討哪些問題可以通過計算解決，以及解決這些問題所需的資源（如時間和空間）。在這些理論工具中，“預(yù)言機(jī)”（Oracle）作為一種特殊的抽象概念，扮演著至關(guān)重要的角色。預(yù)言機(jī)可以被視為一種能夠在一步之內(nèi)解...

引言O(shè)penAI光環(huán)之下的隱憂OpenAI，這家憑借ChatGPT、GPT系列模型API等顛覆性技術(shù)迅速占領(lǐng)全球科技高地的企業(yè)，無疑是人工智能（AI）研究與部署領(lǐng)域的執(zhí)牛耳者。其“確保人工智能惠及全人類”的宏大宣言，以及其技術(shù)在各行各業(yè)所描繪的革命性藍(lán)圖，不僅吸引了天文數(shù)字般的投資，也催生了難以估量的高昂運營成本。OpenAI的技術(shù)浪潮以前所未有的速度推動了AI應(yīng)用的普及化，然而，在這股浪潮之下，關(guān)于其社會影響的深度拷問、倫理責(zé)...

由前OpenAI研究員DanielKokotajlo領(lǐng)銜撰寫的報告《AI2027》，并非遙遠(yuǎn)的科幻想象，而是立足于當(dāng)前人工智能發(fā)展趨勢、結(jié)合專家訪談與嚴(yán)謹(jǐn)邏輯推演，對未來幾年（直至2027年）可能發(fā)生的劇變進(jìn)行的一次“沙盤推演”（即模擬預(yù)演）。這份報告的核心論斷極具沖擊力，通用人工智能（AGI）乃至超越人類智慧的超級智能（ASI）可能比許多人預(yù)期的更早到來，其對人類文明的重塑力量將遠(yuǎn)超工業(yè)革命，而我們的社會對此卻普遍缺乏認(rèn)知和準(zhǔn)備...

通用人工智能（GPAI）時代的風(fēng)險與挑戰(zhàn)通用人工智能（GPAI）系統(tǒng)，憑借其廣泛的應(yīng)用能力，正迅速滲透到我們生活的方方面面。這些基于基礎(chǔ)模型并服務(wù)于多種用途的軟件系統(tǒng)，已擁有龐大的用戶群體。一些GPAI系統(tǒng)每周活躍用戶已超過3億。同時，GPAI系統(tǒng)在安全和權(quán)利影響領(lǐng)域的應(yīng)用也日益廣泛，如醫(yī)療保健、金融、教育和司法等(Maragnoetal.,2023;Young,2024;PerezCerrolazaetal.,2024)。然而，GPAI系統(tǒng)的廣泛應(yīng)用也伴隨著巨大的潛...

想象一下十七世紀(jì)的歐洲，那是一個思想迷霧重重的時代。古老的經(jīng)院哲學(xué)大廈搖搖欲墜，知識的海洋里充滿了相互矛盾的學(xué)說和難以證實的觀點。就在這時，勒內(nèi)·笛卡爾，像一位孤獨的燈塔看守人，點亮了近代哲學(xué)的“理性之光”。在他的著作《談?wù)劮椒ā分校M(jìn)行了一場驚心動魄的思想遠(yuǎn)征：懷疑一切，直至找到那個絕對不可動搖的立足點——“我思故我在”（Cogito,ergosum）。以此為基石，他試圖用嚴(yán)謹(jǐn)?shù)姆椒ā⑶逦睦硇裕瑸槿祟?..

送孩子上補(bǔ)習(xí)班的路上，孩子突然和我說起來白馬是不是馬的問題。我驚異于這個問題的來源，她說是看到了雜志上關(guān)于公孫龍子的“白馬非馬”和“離堅白”的介紹和討論，才有這樣的問題。我拼湊著腦袋里的蛛絲馬跡，試圖解釋公孫龍子的學(xué)說。雖然沒有給孩子解釋明白這個如何抽象出來的閉環(huán)邏輯，但是自己卻突然意識到名和實之間的邏輯關(guān)聯(lián)不就是現(xiàn)在的大語言模型所正在探索的領(lǐng)域嗎？于是歸納思路，便有此文。回顧一下，歷史上的抽...

摘要本文針對安全多方計算（MPC）框架下通用矩陣乘法（GEMM）運算的性能瓶頸，提出一種全新的MPCGEMM實現(xiàn)方案。該方案的核心思想在于：基于加法秘密共享重構(gòu)DeepSeekDeepGEMM的CUDAkernel，將MPC協(xié)議的邏輯與DeepGEMM的底層優(yōu)化深度融合，消除MPC協(xié)議與GPU計算之間的“兩張皮”現(xiàn)象。方案采用INT8FP8數(shù)據(jù)表示、秘密共享運算的kernel級實現(xiàn)、Hopper架構(gòu)優(yōu)化（如適用）、GPU并行Beaver三元組生成以及JIT編譯等關(guān)鍵技術(shù)。本文將詳...

引言：測試時計算擴(kuò)展的興起與挑戰(zhàn)近年來，大型語言模型（LLMs）在自然語言處理領(lǐng)域取得了舉世矚目的成就，其性能的飛躍在很大程度上得益于大規(guī)模自監(jiān)督預(yù)訓(xùn)練和不斷增長的模型規(guī)模。然而，模型規(guī)模的不斷擴(kuò)大也帶來了訓(xùn)練成本和計算資源需求的急劇增加，這使得進(jìn)一步提升模型性能變得越來越困難。為了在不進(jìn)一步增加模型規(guī)模的前提下提升性能，一種新的范式——測試時計算擴(kuò)展（TestTimeComputationExtension）——應(yīng)運而生。...

1.深度學(xué)習(xí)的算力饑渴與HPC的成本困境深度學(xué)習(xí)的浪潮，正以勢不可擋的姿態(tài)席卷而來。從圖像識別領(lǐng)域的AlexNet和ResNet，到自然語言處理領(lǐng)域的Transformer，再到如今參數(shù)規(guī)模動輒千億、萬億的大型語言模型(LLM)，如GPT3和PaLM，以及混合專家模型(MoE)和多模態(tài)模型，深度學(xué)習(xí)模型的能力在不斷突破，但其背后對計算資源的需求也呈現(xiàn)出爆炸式的增長。高性能計算(HPC)集群，作為支撐深度學(xué)習(xí)訓(xùn)練的基石，其重要性日益凸顯。然而，傳...

1.引言人工智能(AI)正迅速滲透到我們生活的方方面面，并在各個領(lǐng)域展現(xiàn)出巨大的潛力。尤其是在信貸、住房和醫(yī)療等高風(fēng)險領(lǐng)域，AI驅(qū)動的自動化決策(ADM)系統(tǒng)正發(fā)揮著越來越重要的作用。這些系統(tǒng)能夠高效地處理海量數(shù)據(jù)，并根據(jù)預(yù)設(shè)算法做出決策，從而提高效率、降低成本。然而，ADM系統(tǒng)的廣泛應(yīng)用也引發(fā)了人們對其透明度和問責(zé)制的擔(dān)憂。由于許多ADM系統(tǒng)基于復(fù)雜的機(jī)器學(xué)習(xí)模型，例如深度神經(jīng)網(wǎng)絡(luò)，其決策過程往往難以理解，甚至...

1.引言近年來，隨著深度學(xué)習(xí)技術(shù)的飛速發(fā)展，人工智能(AI)在諸多領(lǐng)域取得了突破性進(jìn)展。然而，傳統(tǒng)的深度學(xué)習(xí)模型在處理需要復(fù)雜推理的任務(wù)時仍然面臨挑戰(zhàn)。例如，在面對數(shù)學(xué)題、邏輯謎題或科學(xué)問題時，簡單地依靠模式識別和函數(shù)擬合難以獲得令人滿意的結(jié)果。為了解決這個問題，研究人員開始探索將深度學(xué)習(xí)與符號推理相結(jié)合，從而賦予AI系統(tǒng)更強(qiáng)的推理能力，即慢思考推理。慢思考推理強(qiáng)調(diào)對問題進(jìn)行深入分析和逐步求解，而非僅...

1.引言近年來，大型語言模型（LargeLanguageModels,LLMs）的參數(shù)規(guī)模呈現(xiàn)指數(shù)級增長趨勢，展現(xiàn)出強(qiáng)大的通用智能，在眾多自然語言處理任務(wù)上取得了突破性進(jìn)展。然而，這些龐大的模型也伴隨著高昂的訓(xùn)練成本、巨大的計算資源需求以及難以部署等問題，極大地限制了其廣泛應(yīng)用。為了解決這些問題，業(yè)界開始探索更加高效、輕量化的模型架構(gòu)和訓(xùn)練方法。在這樣的背景下，微軟研究院機(jī)器學(xué)習(xí)基礎(chǔ)團(tuán)隊另辟蹊徑，推出了一系列名為“Phi”...