萬(wàn)字長(zhǎng)文專訪IEEE Fellow叢京生院士:意外結(jié)緣EDA領(lǐng)域,尋找半導(dǎo)體技術(shù)「拐點(diǎn)」
2023年9月,IEEE集成電路與系統(tǒng)雜志(IEEE Circuits and Systems Magazine)的總編輯陳怡然教授和副主編陳凡教授非常榮幸地采訪了叢京生院士。
叢院士是世界電子設(shè)計(jì)自動(dòng)化 (EDA) 和高性能計(jì)算領(lǐng)域的杰出學(xué)者,本次采訪圍繞著叢院士卓越的職業(yè)生涯的各個(gè)方面提出了六個(gè)問(wèn)題。
叢京生院士個(gè)人簡(jiǎn)介
叢京生院士是加州大學(xué)洛杉磯分校(UCLA)計(jì)算機(jī)科學(xué)系Volgenau Chair for Engineering杰出教授及前系主任,并兼任UCLA電子與計(jì)算機(jī)工程系教授。
同時(shí),叢院士是美國(guó)國(guó)家工程院院士、中國(guó)工程院外籍院士、美國(guó)計(jì)算機(jī)協(xié)會(huì)會(huì)士(ACM Fellow)、電氣和電子工程師協(xié)會(huì)會(huì)士(IEEE Fellow)和美國(guó)國(guó)家發(fā)明家學(xué)院院士 (NAI Fellow),并于近日剛剛當(dāng)選美國(guó)藝術(shù)與科學(xué)院院士 (AAA&S Fellow)。
因在電子設(shè)計(jì)自動(dòng)化和FPGA設(shè)計(jì)方法領(lǐng)域的重要貢獻(xiàn),他于2022年榮獲集成電路界的「諾貝爾獎(jiǎng)」IEEE Robert Noyce Medal。
他還是UCLA領(lǐng)域特定計(jì)算中心 (CDSC) 和超大規(guī)模集成電路架構(gòu)、綜合和技術(shù) (VAST) 實(shí)驗(yàn)室主任。
叢院士的研究方向包括:用于可定制計(jì)算的新型架構(gòu)和編譯、超大規(guī)模集成電路系統(tǒng)綜合以及量子計(jì)算。
在這些領(lǐng)域叢院士先后發(fā)表了 500 多篇論文,其中包括 18 篇最佳論文獎(jiǎng),以及4篇入選現(xiàn)場(chǎng)可編程門陣列(FPGA)和可重構(gòu)計(jì)算名人堂(FPGA And Reconfigurable Computing Hall of Fame)的論文。
叢院士和他的學(xué)生們共同創(chuàng)立了AutoESL。該公司開(kāi)發(fā)了被后來(lái)廣泛使用的 FPGA 高層次綜合(High Level Synthesis)工具AutoPilot。在被Xilinx(現(xiàn)并入AMD)收購(gòu)后更名為Vivado HLS(隨后又更名為Vitis HLS)。
專訪
問(wèn)題一:您的教育背景令人印象深刻。您擁有北京大學(xué)計(jì)算機(jī)科學(xué)學(xué)士學(xué)位,以及伊利諾伊大學(xué)厄巴納-香檳分校(UIUC)的計(jì)算機(jī)科學(xué)碩士和博士學(xué)位。是什么原因促使讓您選擇了計(jì)算機(jī)科學(xué)專業(yè)?您的求學(xué)經(jīng)歷對(duì)您在學(xué)術(shù)界的職業(yè)生涯有何影響?您可以給有志在計(jì)算機(jī)科學(xué)領(lǐng)域取得優(yōu)異成績(jī)并有所建樹的同學(xué)以及同仁們什么建議嗎?
叢院士:我與計(jì)算機(jī)科學(xué)的淵源,特別是在電子設(shè)計(jì)自動(dòng)化 (EDA) 領(lǐng)域,走過(guò)了一條迂回曲折的道路,充滿了意想不到的轉(zhuǎn)折。
我成長(zhǎng)于北京,從小就對(duì)數(shù)學(xué)感興趣,并且在全市數(shù)學(xué)競(jìng)賽中獲得了一些獎(jiǎng)項(xiàng)。1981年,我入選了國(guó)際數(shù)學(xué)奧林匹克競(jìng)賽團(tuán)隊(duì),但最終競(jìng)賽團(tuán)隊(duì)由于一些原因未能成行。盡管如此,北京大學(xué)數(shù)學(xué)系還是邀請(qǐng)了我們整個(gè)團(tuán)隊(duì)成員去學(xué)校參觀,并鼓勵(lì)我們申請(qǐng)入學(xué)。參觀完北大數(shù)學(xué)系之后,我?guī)缀鯖Q定把它列為大學(xué)的第一專業(yè)志愿。但在回程的路上,我決定去計(jì)算機(jī)科學(xué)系參觀一下,來(lái)了解計(jì)算機(jī)系的項(xiàng)目和課程。我一直很好奇為什么計(jì)算機(jī)能比人類計(jì)算快那么多。
北大計(jì)算機(jī)科學(xué)系當(dāng)時(shí)還處于建設(shè)初期階段,辦公場(chǎng)地還只是借用了教職工宿舍樓的幾個(gè)房間。在那里我很幸運(yùn)地遇到了一個(gè)我感覺(jué)非常博學(xué)的“教授”,他向我介紹了計(jì)算機(jī)科學(xué)專業(yè)的眾多課程,例如數(shù)字邏輯、計(jì)算機(jī)體系結(jié)構(gòu)、算法、離散數(shù)學(xué)等等。這次談話激發(fā)了我的興趣,促使我之后在填報(bào)志愿之前的最后一刻決定將計(jì)算機(jī)科學(xué)專業(yè)列為我的第一志愿。進(jìn)入計(jì)算機(jī)科學(xué)系后,我去感謝那位幫助我做決定的“教授”,卻發(fā)現(xiàn)他只是一個(gè)負(fù)責(zé)記錄所有學(xué)生成績(jī)的工作人員,難怪他對(duì)所有課程都了如指掌!
在北大本科期間,我喜歡所有的計(jì)算機(jī)科學(xué)課程,我最喜歡的幾門課程中就包括了離散數(shù)學(xué)。這門課涵蓋了集合、邏輯、圖論等內(nèi)容,為計(jì)算機(jī)科學(xué)的大部分理論奠定了基礎(chǔ);其次是算法課,算法決定了我們編寫的每個(gè)計(jì)算機(jī)程序的效率;同時(shí)我對(duì)圖論尤其著迷,圖是一種簡(jiǎn)潔高效的數(shù)據(jù)結(jié)構(gòu),可以用來(lái)表示不同應(yīng)用中的各種關(guān)系,也是許多算法中使用的關(guān)鍵數(shù)據(jù)結(jié)構(gòu)。我和其他幾位同學(xué)還組織了一個(gè)針對(duì)圖論的讀書小組, 開(kāi)始攻讀Frank Harary的《圖論》一書。我們的讀書小組很幸運(yùn)地得到了離散數(shù)學(xué)教研室負(fù)責(zé)人王攻本教授的指導(dǎo)。我們的離散數(shù)學(xué)課程選用的是伊利諾伊大學(xué)厄巴納-香檳分校 (UIUC) 的劉炯朗教授 (C. L. Liu) 的教材。這本書用簡(jiǎn)潔易懂的例子解釋了復(fù)雜的概念,讓我對(duì)這位教授敬佩不已,并渴望從他那里學(xué)到更多知識(shí)。巧合的是,王教授曾是UIUC的訪問(wèn)學(xué)者,他大力推薦我前往劉教授門下攻讀博士學(xué)位。最終我如愿以償?shù)乇籙IUC錄取,并成為劉教授的學(xué)生。
1986 年冬天,我抵達(dá)UIUC開(kāi)始我的博士生涯。當(dāng)時(shí)劉教授的研究興趣正轉(zhuǎn)向應(yīng)用領(lǐng)域,尤其是超大規(guī)模集成電路 (VLSI) 的計(jì)算機(jī)輔助設(shè)計(jì) (CAD),現(xiàn)在稱為電子設(shè)計(jì)自動(dòng)化 (EDA)。我對(duì)這個(gè)全新的領(lǐng)域感到陌生,甚至一度考慮更換導(dǎo)師。但最終,我決定給自己一個(gè)機(jī)會(huì),先深入了解一下EDA這個(gè)領(lǐng)域。經(jīng)過(guò)一個(gè)學(xué)期的學(xué)習(xí),我發(fā)現(xiàn)這個(gè)領(lǐng)域缺乏高效的算法和實(shí)現(xiàn),因此有大量的需求和機(jī)會(huì)。事實(shí)上,我和劉教授以及黃定發(fā)教授合作的第一篇論文發(fā)表在ICCAD 1987會(huì)議中,該論文提出了利用圖算法來(lái)實(shí)現(xiàn)一種緊湊的三層電路板自動(dòng)布局布線新方案。從那以后,我便在離散數(shù)學(xué)領(lǐng)域找到了自己的興趣所在。這成了我的博士時(shí)期和在UCLA的研究生涯的主要研究領(lǐng)域。
根據(jù)我自身的經(jīng)歷,我想和年輕的學(xué)生們分享幾點(diǎn)心得體會(huì):
- 好奇心:探索的起點(diǎn)
我對(duì)計(jì)算機(jī)的最初好奇心引領(lǐng)我走上了探索計(jì)算機(jī)科學(xué)的道路。正是這種好奇心,驅(qū)使我不斷學(xué)習(xí)、探索,最終成為一名計(jì)算機(jī)科學(xué)家。
- 熱情:創(chuàng)新的動(dòng)力
至今,每當(dāng)我學(xué)習(xí)到一種巧妙的組合算法時(shí),仍然會(huì)感到興奮不已。我對(duì)算法研究充滿熱情,并致力于在該領(lǐng)域開(kāi)發(fā)出新穎的算法。追求真正讓你興奮的東西,可以讓你做出有意義的貢獻(xiàn)。
- 擁抱未知:開(kāi)放的心態(tài)
1986年,我決定花一個(gè)學(xué)期的時(shí)間去探索EDA這個(gè)完全陌生的領(lǐng)域。這段經(jīng)歷讓我打開(kāi)了新世界的大門,也讓我收獲了許多意想不到的驚喜。如果當(dāng)初我沒(méi)有保持開(kāi)放的心態(tài),我將會(huì)錯(cuò)過(guò)這個(gè)領(lǐng)域中許多令人興奮的進(jìn)展和樂(lè)趣。
- 應(yīng)用與探索:平衡的策略
在科研道路上,我始終堅(jiān)持平衡應(yīng)用與探索,這也是在強(qiáng)化學(xué)習(xí)(reinforcement learning)領(lǐng)域中采用的基本策略。一方面,我積極利用現(xiàn)有知識(shí)和成果進(jìn)行更深入的研究,不斷取得新的突破。另一方面,我保持開(kāi)放的思想,勇于探索未知領(lǐng)域,尋求新的機(jī)遇。
問(wèn)題二:您作為計(jì)算機(jī)科學(xué)領(lǐng)域尤其是在現(xiàn)場(chǎng)可編程門陣列 (FPGA) 技術(shù)和物理綜合方面的杰出學(xué)者,對(duì)該領(lǐng)域的貢獻(xiàn)巨大。您的四篇論文入選現(xiàn)場(chǎng)可編程門陣列和可重構(gòu)計(jì)算名人堂,這是全球范圍內(nèi)所有同行研究人員中獲獎(jiǎng)數(shù)量最多的。您能詳細(xì)說(shuō)說(shuō)您是如何找到重要的研究問(wèn)題并著手研究的嗎?此外,您是如何思考并提出創(chuàng)新的技術(shù)方法的呢?
叢院士:我認(rèn)為EDA領(lǐng)域的創(chuàng)新與半導(dǎo)體和集成電路 (IC) 技術(shù)的進(jìn)步密不可分,兩者共同推進(jìn)了摩爾定律所述的集成電路設(shè)計(jì)復(fù)雜性呈指數(shù)級(jí)增長(zhǎng)。因此,我特別關(guān)注半導(dǎo)體/IC的技術(shù)拐點(diǎn),這些拐點(diǎn)往往需要EDA領(lǐng)域的創(chuàng)新研究來(lái)提出新的解決方案。自1990年我加入U(xiǎn)CLA以來(lái)至今,我發(fā)現(xiàn)了以下三個(gè)值得注意的拐點(diǎn):
1)互連瓶頸
隨著晶體管在20世紀(jì)90年代初微縮到亞微米尺寸,互連延遲開(kāi)始蓋過(guò)邏輯延遲,成為決定時(shí)鐘頻率的主要因素。因此,我在UCLA主持的第一個(gè)美國(guó)國(guó)家科學(xué)基金會(huì)項(xiàng)目就是「用于高性能VLSI電路和系統(tǒng)的互連問(wèn)題」(1991-1993年),旨在解決當(dāng)時(shí)迫切的互連挑戰(zhàn)。我們提出了許多新的研究方向例如互連拓?fù)鋬?yōu)化、最優(yōu)導(dǎo)線尺寸、同步布線和寄存器插入、使用物理層次結(jié)構(gòu)而非邏輯層次結(jié)構(gòu)、探索3D設(shè)計(jì)等等來(lái)解決這個(gè)問(wèn)題。這些研究成果的大部分內(nèi)容總結(jié)在一篇發(fā)表于Proceedings of the IEEE 2001年4月刊的應(yīng)邀論文「An Interconnect-Centric Design Flow for Nanometer Technologies」中。
2)片上系統(tǒng) (SoC) 機(jī)遇
21世紀(jì)初,芯片上的晶體管數(shù)量突破億級(jí)大關(guān),將整個(gè)電子系統(tǒng)集成到單個(gè)芯片 (SoC) 上成為可能。一個(gè)典型的例子是Xilinx在2002年推出的Virtex-II Pro FPGA首次集成了一個(gè)IBM PowerPC內(nèi)核。這也促使我們重新審視高層次綜合 (HLS) 技術(shù)。
HLS是一個(gè)在1980年代提出的概念,但當(dāng)時(shí)并未流行開(kāi)來(lái)。我們認(rèn)為使用高層次軟件描述語(yǔ)言 (C、C++或SystemC) 來(lái)定義SoC規(guī)格并直接生成硬件描述RTL代碼會(huì)更加高效。此外HLS還可以緩解互連瓶頸問(wèn)題,通過(guò)HLS調(diào)度,可以讓信號(hào)在多個(gè)時(shí)鐘周期內(nèi)跨越長(zhǎng)距離互連 (這項(xiàng)HLS自動(dòng)化技術(shù)與算法 AutoBridge最終發(fā)表在了2021年FPGA會(huì)議上并獲得了最佳論文)。盡管當(dāng)時(shí)主要的EDA廠商對(duì)HLS投入不足,但上述優(yōu)勢(shì)讓我們看見(jiàn)了HLS的潛力并促使我們進(jìn)軍HLS領(lǐng)域進(jìn)行研究。我們之后的研究取得了幾個(gè)重要成果,例如基于平臺(tái)的HLS、編譯時(shí)使用差分約束進(jìn)行調(diào)度優(yōu)化以及自動(dòng)內(nèi)存劃分。這些技術(shù)最終促成我們創(chuàng)立了一家名為AutoESL的公司。AutoESL于2011年被Xlinix收購(gòu),其開(kāi)發(fā)的HLS工具成為了后來(lái)AMD/Xilinx的旗艦產(chǎn)品Vivado HLS和Vitis HLS的基礎(chǔ),并廣泛應(yīng)用于FPGA設(shè)計(jì)領(lǐng)域。我們的HLS研究成果在以下兩篇主旨報(bào)告應(yīng)邀論文中進(jìn)行了重點(diǎn)介紹:
- 「High-Level Synthesis for FPGAs: From Prototyping to Deployment」 (IEEE Transactions on Computer-Aided Design, 2011)
- 「FPGA HLS Today: Successes, Challenges, and Opportunities」(ACM Transactions on Reconfigurable Technology and Systems, 2022)
3) 登納德縮放(Dennard scaling)的終結(jié)
20世紀(jì)末,半導(dǎo)體行業(yè)遇到了一個(gè)關(guān)鍵挑戰(zhàn):傳統(tǒng)的提高時(shí)鐘頻率的方法已經(jīng)無(wú)法滿足性能提升的需求,這種現(xiàn)象被稱為登納德縮放的終結(jié)。當(dāng)時(shí)的業(yè)界普遍認(rèn)為多核并行化是解決問(wèn)題的關(guān)鍵,而我們則另辟蹊徑提出了以定制化為主的集成電路的設(shè)計(jì)理念。
定制化集成電路指的是根據(jù)特定的工作負(fù)載調(diào)整架構(gòu),以獲得更好的性能/能效比。2008 年,我?guī)ьI(lǐng)一支由 12 位教授組成的團(tuán)隊(duì),向美國(guó)國(guó)家科學(xué)基金會(huì) (NSF) 提交了一份名為「可定制領(lǐng)域特定計(jì)算」的提案。該提案獲得了極具競(jìng)爭(zhēng)力的NSF計(jì)算遠(yuǎn)征獎(jiǎng) (NSF Expeditions in Computing Award),并促成了UCLA領(lǐng)域可定制化計(jì)算中心 (CDSC) 的成立。在過(guò)去的 15 年里,CDSC 中心在可定制化計(jì)算領(lǐng)域取得了重大進(jìn)展。我們不僅在架構(gòu)設(shè)計(jì)、編譯和運(yùn)行支持方面取得了突破,還將應(yīng)用領(lǐng)域拓展到了醫(yī)學(xué)成像、深度學(xué)習(xí)、精準(zhǔn)醫(yī)療和大數(shù)據(jù)處理等多個(gè)領(lǐng)域,開(kāi)發(fā)了許多創(chuàng)新的加速器。我們?cè)谶@方面的研究成果發(fā)表總結(jié)在2019年P(guān)roceedings of the IEEE上的應(yīng)邀論文「Customizable Computing-From Single Chip to Datacenters」中。如今,領(lǐng)域特定計(jì)算的愿景已經(jīng)得到業(yè)界廣泛認(rèn)可。在過(guò)去的5-10年間,谷歌、微軟和亞馬遜等主要云計(jì)算提供商都開(kāi)發(fā)了他們自己的定制化加速器。
我的研究始終圍繞著一個(gè)核心目標(biāo):尋找半導(dǎo)體/IC的技術(shù)拐點(diǎn),并為EDA領(lǐng)域提出創(chuàng)新解決方案。通過(guò)這種方式,能夠確保我們的研究始終緊貼行業(yè)前沿,并在快速發(fā)展的領(lǐng)域中產(chǎn)生實(shí)質(zhì)性影響。
問(wèn)題三:您的研究團(tuán)隊(duì)多年以來(lái)始終處于研究的前沿,并且最近又在量子計(jì)算領(lǐng)域做出了杰出貢獻(xiàn)。您能詳細(xì)介紹一下您如何保持對(duì)自身領(lǐng)域最新研究進(jìn)展和進(jìn)步的了解嗎?您如何確保您的研究始終處于前沿地位?
叢院士:終身學(xué)習(xí)是我全力提倡并享受的一項(xiàng)基本原則。為了讓自己始終保持在研究領(lǐng)域的最前沿,我所付出的努力如下:
閱讀是保持專業(yè)知識(shí)更新的基石,正如我之前提到的「探索與應(yīng)用」原則一樣。我既會(huì)閱讀我專業(yè)領(lǐng)域的最新刊物,例如DAC、ICCAD和FPGA等會(huì)議論文,也會(huì)更廣泛地涉獵整個(gè)科學(xué)和工程領(lǐng)域的資料(例如每周的《科學(xué)》雜志和每月的《Communications of ACM》),從中或許能發(fā)現(xiàn)意想不到的靈感。為了培養(yǎng)持續(xù)學(xué)習(xí)的文化,我鼓勵(lì)我的學(xué)生每天閱讀一篇論文,我也會(huì)盡力做到這一點(diǎn)。
數(shù)字時(shí)代帶來(lái)了豐富多樣的網(wǎng)絡(luò)課程。我本人也受益于參加許多網(wǎng)絡(luò)課程,其中既包括與我的研究相關(guān)的科目,例如量子計(jì)算和量子力學(xué),也包括與研究不直接相關(guān)的領(lǐng)域,例如心理學(xué)和世界歷史。我這么做純粹是為了享受學(xué)習(xí)的樂(lè)趣。有時(shí)候我會(huì)為了督促自己真正學(xué)習(xí)到一項(xiàng)知識(shí)而注冊(cè)認(rèn)證課程。
與來(lái)自不同學(xué)科的同事合作也是一種收獲頗豐的學(xué)習(xí)途徑。例如,我有幸與應(yīng)用數(shù)學(xué)領(lǐng)域的Tony Chan教授合作了一個(gè)關(guān)于分析電路布局布線的聯(lián)合項(xiàng)目。這拓寬了我對(duì)多層優(yōu)化的認(rèn)識(shí)。通過(guò)我們?cè)贑DSC中心合作,我從放射科的Denise Aberle、Alex Bui和William Hsu教授那里了解了醫(yī)學(xué)成像的基礎(chǔ)知識(shí)。最近,我與孫怡舟教授的合作加深了我對(duì)圖神經(jīng)網(wǎng)絡(luò)和元學(xué)習(xí)的理解,這兩項(xiàng)技術(shù)為EDA和硬件加速領(lǐng)域帶來(lái)了新的方法。
我的博士生們也是我源源不斷的知識(shí)和洞察力的來(lái)源。例如,譚伯琛是我第一位攻讀量子計(jì)算方向博士學(xué)位的學(xué)生。他在每周的報(bào)告中不僅會(huì)更新他的研究進(jìn)展,還會(huì)分享該領(lǐng)域的最新資訊和相關(guān)出版物,這些內(nèi)容都讓我獲益匪淺。許多其他學(xué)生也會(huì)分享他們從各種來(lái)源找到的值得注意的讀物,這種實(shí)驗(yàn)室內(nèi)的知識(shí)分享和交流確保了我們始終處于研究前沿。
充分利用學(xué)術(shù)休假對(duì)擴(kuò)展我的知識(shí)庫(kù)和與其他研究人員的交流也非常有幫助。例如,在我最近的學(xué)術(shù)休假(2022-2023學(xué)年)上半學(xué)年在哈佛大學(xué)旁聽(tīng)了Mikhail Lukin教授的「量子信息物理學(xué)」研究生課程,然后在下半學(xué)年在瑞士聯(lián)邦理工學(xué)院洛桑分校旁聽(tīng)了Wulfram Gerstner教授的「人工神經(jīng)網(wǎng)絡(luò)/強(qiáng)化學(xué)習(xí)」和Maria Brbic教授的「遷移學(xué)習(xí)和元學(xué)習(xí)」等課程。再次回到課堂成為一名學(xué)生是一個(gè)充實(shí)愉快的經(jīng)歷。我認(rèn)為,在學(xué)術(shù)界工作最大的好處之一就是它為終身學(xué)習(xí)提供了持續(xù)不斷的廣泛機(jī)會(huì)。
問(wèn)題四:作為電子設(shè)計(jì)自動(dòng)化和下一代計(jì)算領(lǐng)域的杰出專家,您認(rèn)為目前最引人入勝的趨勢(shì)是什么?您能分享您對(duì)未來(lái)幾年可能出現(xiàn)的新興事物的遠(yuǎn)見(jiàn)卓識(shí)嗎?
叢院士:預(yù)測(cè)未來(lái)是一件很困難的事情,我想在這里分享我目前的三個(gè)研究方向,它們反映了我對(duì)未來(lái)幾年重要、有前景的研究課題的思考。
1)普惠集成電路設(shè)計(jì) (Democratize Customizable Computing):
十幾年來(lái),經(jīng)過(guò)CDSC 研究人員和許多來(lái)自學(xué)術(shù)界和工業(yè)界同行們的共同努力,證明了領(lǐng)域特定加速器 (DSA) 的效率。然而,設(shè)計(jì)定制化加速器仍然被認(rèn)為只有電路設(shè)計(jì)人員能嫻熟掌握。當(dāng)前商業(yè)HLS工具可以從C/C++描述中生成 RTL 代碼,但生成代碼的質(zhì)量在很大程度上取決于輸入C/C++代碼的編寫方式。這通常需要有經(jīng)驗(yàn)的硬件工程師手動(dòng)調(diào)整并且在輸入代碼中插入許多 程序指示(pragma) 來(lái)獲得所需的微架構(gòu)。我們研究的目標(biāo)是讓每個(gè)注重性能的軟件程序員或應(yīng)用程序開(kāi)發(fā)人員無(wú)需硬件設(shè)計(jì)知識(shí)也能創(chuàng)建自己的DSA。我們正在采取以下三種方法:
- 架構(gòu)引導(dǎo)優(yōu)化,例如脈動(dòng)陣列 (systolic array) 的最優(yōu)綜合。
- 自動(dòng)代碼轉(zhuǎn)換和自動(dòng)pragma插入,我們結(jié)合精心設(shè)計(jì)的啟發(fā)式方法和深度學(xué)習(xí)技術(shù)來(lái)使該過(guò)程自動(dòng)化。
- 支持用于高層次領(lǐng)域特定語(yǔ)言 (DSL) 的自動(dòng)綜合,例如對(duì)TensorFlow或PyTorch描述直接綜合生成對(duì)應(yīng)深度學(xué)習(xí)應(yīng)用的加速電路。
這項(xiàng)領(lǐng)域的研究成果總結(jié)發(fā)表于在2023年1月的《ACM Communications》雜志中一篇名為「Democratize Customizable Computing」的文章上。這篇文章也與斯坦福大學(xué)Mark Horowitz教授在2023年DAC會(huì)議主題演講中闡述的愿景一致,他也強(qiáng)調(diào)了使應(yīng)用程序開(kāi)發(fā)人員參與集成電路和系統(tǒng)設(shè)計(jì)的重要性。
2)近數(shù)據(jù)計(jì)算與加速 (Near-Data Computing and Acceleration)
雖然已經(jīng)存在一些用于優(yōu)化芯片內(nèi)互連延遲的解決方案,但芯片間甚至系統(tǒng)級(jí)的的數(shù)據(jù)移動(dòng)仍然是一個(gè)關(guān)鍵瓶頸。從動(dòng)態(tài)隨機(jī)存儲(chǔ)器(DRAM)或固態(tài)硬盤(SSD)將數(shù)據(jù)移動(dòng)到CPU或GPU的延遲和功耗通常比在數(shù)據(jù)上執(zhí)行計(jì)算操作高出幾個(gè)數(shù)量級(jí)。為了解決這一挑戰(zhàn),我們的研究重點(diǎn)放在近內(nèi)存和近存儲(chǔ)加速上,使計(jì)算更接近數(shù)據(jù)。例如,我們最近的一項(xiàng)名為NeSSA (HotStorage’2023) 的工作就是在一塊集成在SmartSSD上的FPG 進(jìn)行智能數(shù)據(jù)選擇,這樣只有少部分?jǐn)?shù)據(jù)會(huì)從SSD移動(dòng)到用于機(jī)器學(xué)習(xí)訓(xùn)練的GPU或CPU中。這個(gè)領(lǐng)域?yàn)榧軜?gòu)和算法的聯(lián)合優(yōu)化提供了充足的機(jī)會(huì)。
3)量子計(jì)算的設(shè)計(jì)自動(dòng)化(Design Automation for Quantum Computing)
當(dāng)晶體管尺寸接近1納米甚至更小的時(shí)候,我們將進(jìn)入另一個(gè)拐點(diǎn),這可能標(biāo)志著經(jīng)典摩爾定律的終結(jié)。在此背景下,量子計(jì)算作為一種新的計(jì)算技術(shù),在過(guò)去十年取得了長(zhǎng)足的進(jìn)步。例如,超導(dǎo)量子比特系統(tǒng)(superconducting qubit systems)、離子阱系統(tǒng)(trapped-ion systems) 以及最近的光鑷陣列中性原子系統(tǒng)(neutral atoms trapped in optical tweezers arrays) 都顯示出巨大的潛力。
IBM 計(jì)劃建造一臺(tái) 100,000個(gè)量子比特的量子處理器的計(jì)劃凸顯了擴(kuò)展量子編譯工具以匹配硬件發(fā)展需求的必要性。我們?cè)?019年開(kāi)始了量子計(jì)算研究,發(fā)現(xiàn)了現(xiàn)有量子計(jì)算布局綜合工具存在著巨大的優(yōu)化空間(以電路深度計(jì)約有5-45倍空間),因此我們開(kāi)發(fā)了第一個(gè)最優(yōu)且實(shí)用的量子布局綜合編譯器OLSQ。我們還將OLSQ應(yīng)用于優(yōu)化特定領(lǐng)域的量子計(jì)算架構(gòu),例如圖最大割優(yōu)化和量子卷積神經(jīng)網(wǎng)絡(luò)。這個(gè)領(lǐng)域交叉了EDA、計(jì)算機(jī)科學(xué)、電氣工程和量子物理等諸多基礎(chǔ)與前沿學(xué)科。我最近在 DAC’2023 上的邀請(qǐng)演講/論文「Scaling Up Quantum Compilation」更加詳細(xì)地討論了這些挑戰(zhàn)和機(jī)遇。
這些研究方向絕不是對(duì)未來(lái)的全面預(yù)測(cè)。我相信還有許多其他激動(dòng)人心的研究機(jī)會(huì)。例如深度學(xué)習(xí)特別是大模型的快速進(jìn)步可能會(huì)徹底改變EDA算法和方法。我們正致力于將深度學(xué)習(xí)與HLS結(jié)合起來(lái),作為我們實(shí)現(xiàn)普惠可定制計(jì)算目標(biāo)的一塊重要拼圖。
問(wèn)題五:您擁有指導(dǎo)超過(guò)50位博士生和博士后的豐富經(jīng)驗(yàn)。其中許多人已成為世界知名學(xué)者、研發(fā)經(jīng)理和企業(yè)家。這彰顯了您在學(xué)術(shù)界和工業(yè)界導(dǎo)師方面的重大影響。您能分享一下您培養(yǎng)博士生和博士后的方法嗎?
叢院士:和學(xué)生緊密合作,是我學(xué)術(shù)生涯中最令人滿足的部分之一。正如我之前提到的,師生之間是互相學(xué)習(xí)的關(guān)系,大多數(shù)研究項(xiàng)目都建立在共享的智慧和共同的愿景之上。此外,我也歡迎來(lái)自不同背景的學(xué)生加入團(tuán)隊(duì),并在實(shí)驗(yàn)室會(huì)議上鼓勵(lì)大家進(jìn)行開(kāi)放式討論。我同樣努力營(yíng)造一個(gè)重視團(tuán)隊(duì)合作的環(huán)境。我們?cè)O(shè)立了年度最佳團(tuán)隊(duì)貢獻(xiàn)獎(jiǎng)來(lái)鼓勵(lì)為團(tuán)隊(duì)做出貢獻(xiàn)的學(xué)生。
最重要的是,我認(rèn)為協(xié)助學(xué)生實(shí)現(xiàn)職業(yè)理想是我的根本責(zé)任之一。我每年都會(huì)和每位學(xué)生單獨(dú)會(huì)面來(lái)討論他們的職業(yè)規(guī)劃。我鼓勵(lì)學(xué)生在攻讀博士學(xué)位期間參加1-2次行業(yè)實(shí)習(xí),以便為他們未來(lái)選擇留在學(xué)術(shù)界還是投身工業(yè)界做好充分的準(zhǔn)備。對(duì)于那些對(duì)教授職位感興趣的學(xué)生,我會(huì)盡力將他們介紹給相應(yīng)領(lǐng)域的知名教授、資助機(jī)構(gòu)的項(xiàng)目經(jīng)理、以及潛在的行業(yè)合作伙伴等,幫助他們?yōu)閷W(xué)術(shù)生涯做好準(zhǔn)備。另一方面,對(duì)于具有創(chuàng)業(yè)精神的學(xué)生,我會(huì)將他們與潛在的投資者和客戶聯(lián)系起來(lái),為他們建立強(qiáng)大的人脈支持。
我堅(jiān)信,學(xué)生優(yōu)異的成就最終將是對(duì)我們科研和教學(xué)質(zhì)量的最大肯定。
問(wèn)題六:在您杰出的職業(yè)生涯中,您獲得了許多享有盛譽(yù)的獎(jiǎng)項(xiàng)和榮譽(yù),其中包括IEEE和ACM會(huì)士、美國(guó)國(guó)家工程院院士、中國(guó)工程院外籍院士、美國(guó)國(guó)家發(fā)明家學(xué)院院士,以及最近獲得的IEEE Robert Noyce獎(jiǎng)?wù)潞虴DAA成就獎(jiǎng)。在這些杰出成就以及其他可能未提及的成就中,您認(rèn)為哪項(xiàng)成就最為重要,它從您的角度來(lái)看該成就有何特別之處?您個(gè)人如何定義成功?
叢院士:您提到的許多獎(jiǎng)項(xiàng)都令我倍感榮幸,能夠與之前的獲獎(jiǎng)?wù)卟⒘忻麊?,我深感謙遜。例如,IEEE Robert Noyce獎(jiǎng)?wù)碌臍v屆獲獎(jiǎng)?wù)甙ㄎ㈦娮宇I(lǐng)域的杰出領(lǐng)袖,例如臺(tái)灣積體電路制造公司(TSMC)創(chuàng)始人兼前首席執(zhí)行官?gòu)堉抑\、Intel前首席執(zhí)行官Craig Barrett、AMD首席執(zhí)行官蘇姿豐、Synopsys創(chuàng)始人兼首席執(zhí)行官Aart De Geus,以及最近的IMEC首席執(zhí)行官Luc Van Den Hove。他們對(duì)半導(dǎo)體行業(yè)的貢獻(xiàn)和影響都是巨大的。此外,我也從EDAA成就獎(jiǎng)的歷屆獲獎(jiǎng)?wù)呱砩霞橙×舜罅快`感,例如物理設(shè)計(jì)自動(dòng)化領(lǐng)域的Kurt Antreich和Ernest Kuh,邏輯綜合領(lǐng)域的Robert Bryton和Alberto Sangiovanni-Vincentelli,高層次綜合領(lǐng)域的Hugo De Man、Daniel Gajski和Giovanni De Micheli。特別是,我非常榮幸追隨我的博士導(dǎo)師,2017年EDAA獎(jiǎng)得主劉炯朗教授的腳步也獲得了這個(gè)獎(jiǎng)項(xiàng),我永遠(yuǎn)對(duì)劉教授充滿感激。
然而,我最大的滿足感來(lái)自于看到我們的研究成果在實(shí)踐中產(chǎn)生的真正影響。1992年,我們開(kāi)發(fā)了首個(gè)名為FlowMap的多項(xiàng)式復(fù)雜度深度最優(yōu)FPGA映射算法后,然后看到它在短短幾年內(nèi)被所有主要的FPGA公司采用,這對(duì)我來(lái)說(shuō)非常振奮。我記得1990年代中期 (當(dāng)時(shí)AT&T正在銷售ORCA FPGA) 參觀貝爾實(shí)驗(yàn)室時(shí),我問(wèn)他們使用哪種技術(shù)映射算法。答案是PamWolf。我以為是一種我所不知道的新算法。然后,一位內(nèi)部人士告訴我PamWolf實(shí)際上是FlowMap的字母倒序排列。因此,它是基于FlowMap的!另一個(gè)例子是我們對(duì)高層次綜合(HLS)的貢獻(xiàn),始于2000年代初UCLA的xPilot項(xiàng)目,在隨后成立的AutoESL 公司實(shí)現(xiàn)商業(yè)化,并于 2011 年被Xilinx收購(gòu)。它構(gòu)成了Vivado HLS和Vitis HLS工具的基礎(chǔ),該工具目前正在被全球成千上萬(wàn)的FPGA設(shè)計(jì)人員使用。幾年前,我遇到了一位物理系教授。令我驚訝的是,他告訴我他們小組也使用Vivado HLS。他們將各種基于C/C++的算法直接編譯到FPGA中,用于歐洲核子研究組織大型強(qiáng)子對(duì)撞機(jī)中實(shí)時(shí)處理以發(fā)現(xiàn)新粒子,這是我完全沒(méi)想到的??吹轿覀兊难芯勘粊?lái)自完全不同領(lǐng)域的科學(xué)家用于推進(jìn)人類知識(shí)的疆界,我感到十分欣慰。
此外,對(duì)于我們這些教授來(lái)說(shuō),另一個(gè)巨大的滿足感來(lái)源就是看到學(xué)生們的蓬勃發(fā)展。我有幸與50多名博士生和博士后研究人員合作,其中許多人后來(lái)成為各自領(lǐng)域的領(lǐng)導(dǎo)者。例如,潘志剛教授已經(jīng)在德克薩斯大學(xué)奧斯汀分校領(lǐng)導(dǎo)世界一流的EDA研究項(xiàng)目20周年,并且他將擔(dān)任DAC'2024(EDA 領(lǐng)域旗艦會(huì)議)的技術(shù)程序主席。陳德銘教授是在HLS和硬件加速方面的工作而聞名的,他在伊利諾伊大學(xué)香檳分校領(lǐng)導(dǎo)多個(gè)大型跨學(xué)科研究。以在3D集成電路(3D IC)設(shè)計(jì)方面進(jìn)行開(kāi)創(chuàng)性研究而聞名的Sung-kyu Lim教授現(xiàn)在正在DARPA開(kāi)展下一代微電子研究項(xiàng)目。張志汝教授在AutoESL成功被收購(gòu)之后正在康奈爾大學(xué)領(lǐng)導(dǎo)一個(gè)大型的研究課題組,專注于HLS和高效機(jī)器學(xué)習(xí),并擔(dān)任了FPGA領(lǐng)域頂級(jí)會(huì)議 FPGA'2024的主席。
我的許多其他學(xué)生在亞馬遜、Arista、彭博社、博通、Cadence、城堡投資、谷歌、IBM、KBC、Meta、英偉達(dá)等業(yè)界公司以及許多優(yōu)秀的創(chuàng)業(yè)公司擔(dān)任著重要的技術(shù)或管理職位。在過(guò)去三十年中,他們一直是我們?cè)赨CLA研究項(xiàng)目背后的強(qiáng)大動(dòng)力。見(jiàn)證他們成功的職業(yè)生涯和領(lǐng)導(dǎo)職位,令我感到無(wú)比自豪和喜悅,同時(shí)也強(qiáng)調(diào)了學(xué)術(shù)界導(dǎo)師作用的深遠(yuǎn)影響。簡(jiǎn)而言之,我認(rèn)為成功并非僅僅由個(gè)人榮譽(yù)來(lái)衡量,而是由個(gè)人工作帶來(lái)的持久影響以及所指導(dǎo)和培養(yǎng)的人們的成就來(lái)衡量。
致謝
VAST Lab特別感謝參與此次采訪翻譯工作的下列學(xué)者:陳怡然教授(杜克大學(xué))、高敏博士(谷歌)、周佩佩教授(匹茲堡大學(xué))、吳昌教授(復(fù)旦大學(xué))、王羽欣博士(AMD-Xilinx)、以及郭聰博士(杜克大學(xué))。感謝他們的準(zhǔn)確翻譯和清晰表述,讓原采訪的的內(nèi)涵得以完整地保留和傳遞。