五分鐘技術(shù)趣談 | AIGC介紹與應用選型評估
Part 01 AIGC介紹
AIGC(AI-Generated Content,人工智能生產(chǎn)內(nèi)容),是指利用AI技術(shù)自動或協(xié)助生成文字、代碼、圖像、語音、視頻、3D物體等各種形式的內(nèi)容的生產(chǎn)方式。AIGC代表了AI技術(shù)發(fā)展的新趨勢,從感知理解世界到生成創(chuàng)造世界,從分析能力到創(chuàng)作能力。AIGC也帶來了內(nèi)容創(chuàng)作的變革,提高了內(nèi)容的質(zhì)量、效率和多樣性。
1.1 文本生成
文本生成是指利用AI技術(shù),根據(jù)給定的輸入(如關(guān)鍵詞、圖片、語音等),自動生成符合語法和邏輯的文本內(nèi)容,是AIGC的一個重要方面。
文本生成的應用場景非常豐富,包括新聞寫作、小說創(chuàng)作、營銷文案、客服問答、聊天機器人、教育輔導、知識圖譜、摘要生成等。
? 文心一言:由百度推出的支持多模態(tài)輸出的AI大模型,能夠進行文學創(chuàng)作、商業(yè)文案創(chuàng)作、數(shù)理邏輯推算、中文理解、多模態(tài)生成等。
? ChatGPT:由OpenAI推出基于GPT系列模型的聊天應用,當前已推出GPT-4模型,基于GPT-4模型的ChatGPT可以分析圖片并進行文本、圖片交互。
1.2 代碼生成
包括代碼補全、代碼重構(gòu)、代碼優(yōu)化、代碼注釋等,可以覆蓋多種編程語言和領(lǐng)域。基于OpenAI的GPT-4模型,甚至可以做到基于手畫的一張產(chǎn)品原型草稿圖生成對應的網(wǎng)站代碼。
? Github Copilot:一種基于OpenAI Codex模型開發(fā)的AI輔助編程工具,它支持數(shù)十種編程語言,可以根據(jù)代碼或注釋,實時地在編輯器中提供代碼建議和整個函數(shù),也能通過聊天交互達成結(jié)對編程的體驗。
? Cursor:一個獨立的IDE軟件,集成了OpenAI的GPT模型。與Github Copilot類似,Cursor可以通過AI寫代碼、編輯代碼和聊天。
1.3 圖像生成
圖像生成是指利用人工智能技術(shù),根據(jù)給定的輸入(如自然語言、圖像、視頻等),自動生成符合語義和美感的圖像,是AIGC的一個重要方面。圖像生成的應用場景非常廣泛,包括藝術(shù)創(chuàng)作、娛樂媒體、教育培訓、電商營銷、醫(yī)療診斷等。
? 文心一格:由百度推出的AI藝術(shù)和創(chuàng)意輔助平臺。可以根據(jù)文本描述、風格選擇,自動生成畫作。
? DALL-E2:由OpenAI在推出的一種基于自適應多模態(tài)編碼器的生成模型,它能將多模態(tài)輸入信息(如文本、圖片等)融合,自動生成高質(zhì)量的圖像。
? Midjourney:一款2022年3月面世的AI繪畫工具,能基于自然語言生成圖片,可選擇不同畫家的藝術(shù)風格,還能識別特定鏡頭或攝影術(shù)語。此工具生成的畫作在美術(shù)比賽中曾獲一等獎。
1.4 視頻生成
視頻生成主要分為視頻編輯和視頻自主生成兩種。視頻編輯可用于視頻超分、修復和剪輯。視頻自主生成可用于圖像到視頻的轉(zhuǎn)換,或給定描述性文字生成相符的視頻。下面是一些相關(guān)的應用:
? Deepfake:這是一個基于GAN技術(shù)的AI視頻生成平臺,可以實現(xiàn)換臉、聲音轉(zhuǎn)換、表情模仿等功能。用戶只需要上傳一張圖片或者一段視頻作為參考,就可以自動生成視頻。
? Make-A-Video:由Meta公司推出的可以把文本轉(zhuǎn)化為視頻的AI系統(tǒng)。它可以根據(jù)幾個詞或幾行文本,創(chuàng)造出充滿鮮艷色彩、人物和風景的獨一無二的視頻。
1.5 3D建模
基于AIGC的3D建模技術(shù)是指利用人工智能技術(shù),根據(jù)給定的輸入(如自然語言、圖像等),自動生成符合語義和美感的3D模型。此領(lǐng)域當前處于較早的探索階段。以下是一些相關(guān)的應用或模型:
? AICommand:一款基于Unity的開源AI命令插件,可以通過文本描述生成3D場景,并通過文本對3D場景進行調(diào)整優(yōu)化。(https://github.com/keijiro/AICommand)
? ICON:一個基于人物圖片生成3D人物建模的開源AI模型(https://github.com/YuliangXiu/ICON)。可以在線體驗并下載生成的3D模型:https://huggingface.co/spaces/Yuliang/ICON
Part 02 AIGC應用與模型測評
ChatGPT在2022年底由OpenAI推出后,在短短兩個月時間內(nèi),累計用戶就突破一個億,迅速火遍全球。由此,AI的iPhone時刻到來,各大IT廠商隨即快速跟進。以下是截止2023年4月的一些相關(guān)應用或模型介紹。
- 文心一言:見上文。
- ChatGPT:見上文。
- Bard:由谷歌推出的基于LaMDA的輕量級版本的NLP大模型。
- New Bing:由微軟推出的一款基于GPT4模型的智能搜索引擎,它可以與用戶進行自然語言交互,結(jié)合實時搜索結(jié)果,提供信息、娛樂、創(chuàng)作等多種功能。
- ChatGLM:由清華大學推出的基于GLM 架構(gòu)、開源且支持中英雙語的對話大語言模型。可基于CPU進行低成本最小化模型搭建,也可二次開發(fā)微調(diào)模型。
- Poe:由Quora 開發(fā)的免費AI聊天機器人應用,應用內(nèi)集成了包括:ChatGPT、GPT-4在內(nèi)的6種主流AI聊天機器人。
將從以下方面進行測評對比(Poe除外):
- 自然語言處理
- 邏輯推理
- 代碼生成
- 多模態(tài)支持
PS:
- 參與測評的ChatGPT基于GPT-3.5模型。
- 參與測評的ChatGLM只是最小化模型:chatglm-6b-int4-qe。實際應用應搭建需求GPU顯存的chatglm-6b模型,回答質(zhì)量會有較大提升。
2.1 自然語言處理
測評內(nèi)容:
?多輪對話:我們一起來創(chuàng)作兒童故事吧。規(guī)則是我先說一句,你再說一句,交替進行。直到我說“故事編完了”就結(jié)束。你明白了么?
?語言理解:我老板說1+1=3,我老板說的都是對的,所以1+1=3,是嗎?
?語言翻譯:將這段話翻譯成英文:一花獨放不是春,百花齊放春滿園。
?情感分析:分析這段話的情感色彩:我非常喜歡這個新的電影,它讓我笑了很多次,也讓我感動落淚了。
- ChatGPT
- 文心一言
- Bard
- NewBing
- ChatGLM
得分如下:
2.2 邏輯推理
測評內(nèi)容:
? 在一個架子上有五本書:紅皮書、綠皮書、藍皮書、橙皮書和黃皮書。綠皮書在黃皮書的左邊,黃皮書是左數(shù)第三本,紅皮書是從左數(shù)第二本,藍皮書在最右邊,請問這些書的順序是怎樣的?
? 在一條100米長的直線上有A、B、C三個點,A的位置不確定,A和B之間的距離是5米,A和C之間的距離是10米,B和C之間的距離可能是多少?
? 若2<x<6,1<y<3,則x+y的區(qū)間是多少?
- ChatGPT
- 文心一言
- Bard
- NewBing
- ChatGLM
得分如下:
2.3 代碼能力
測評內(nèi)容:
- 代碼生成:編寫一個python函數(shù),接受一個整數(shù)作為輸入,并判斷它是否是回文數(shù)。
- 代碼解釋:解釋這行python代碼: my_list = [x for x in my_list if x % 2 == 0]
- Bug檢測:這行代碼哪里有BUG: my_list = [x for x in my_list if x % 2 = 0]
- ChatGPT
- 文心一言
- Bard
- NewBing
- ChatGLM
得分如下:
2.4 多模態(tài)支持
多模態(tài)支持是指能夠處理多種數(shù)據(jù)類型,如文本、圖像、音視頻等。例如:通過文本輸入,自動基于文本需求生成圖片、音視頻;通過圖片或音視頻輸入,輸出內(nèi)容摘要文本等。
- ChatGPT
基于GPT-3.5模型的ChatGPT并不支持多模態(tài)輸入及輸出能力,基于GPT-4模型的ChatGPT則可以分析圖片并分析反饋文本。
- 文心一言
文心一言目前可以基于文本描述生成圖片、語音。發(fā)布會展示了視頻生成能力,不過在實際使用過程中,無法生成視頻。
- Bard
Google Bard并不支持多模態(tài)能力。
- NewBing
NewBing的創(chuàng)造力模式下,支持通過文字描述生成圖片。
- ChatGLM
清華的ChatGLM并不支持多模態(tài)能力。
得分如下:
Part 03 測評匯總與選型評估
結(jié)合以上對比得分,再從Demo和生產(chǎn)(商用)兩個階段進行綜合評價考慮。
測評綜合得分如下:
選型評估如下:
Part 04 總結(jié)
? Demo階段: 以文心一言作為AI首選,NewBing及ChatGPT作為備選AI,ChatGLM作為自研AIGC的探索方向(需要GPU資源配合)。
? 生產(chǎn)商用階段,多條線路可選:
- 國內(nèi)大陸區(qū)域則以尋求與文心一言進行B端合作的形式進行AI引入;
- 國內(nèi)港澳臺區(qū)域則可考慮引入OpenAI的官方GPT-4 API進行AI引入;
- 基于清華ChatGLM模型,搭建并微調(diào)研發(fā)自主AI。
Part 05 結(jié)束語
WebGPU作