在虛擬形象與數(shù)字內(nèi)容需求激增的當(dāng)下，傳統(tǒng)3D數(shù)字人制作的高昂成本（動(dòng)輒數(shù)十萬(wàn)美元）與復(fù)雜流程，讓許多行業(yè)望而卻步。而今天，一款由Duix.com團(tuán)隊(duì)打造的開源AI項(xiàng)目HeyGem，正以顛覆性技術(shù)打破這一壁壘，重新定義數(shù)字人創(chuàng)作范式。開發(fā)者可基于其框架二次開發(fā)，拓展更多應(yīng)用場(chǎng)景（如醫(yī)療問診、虛擬偶像等）。隨著社區(qū)貢獻(xiàn)者的加入，這一項(xiàng)目有望成為數(shù)字人領(lǐng)域的“Android系統(tǒng)”，推動(dòng)整個(gè)行業(yè)向低成本、高效率、普惠化方向發(fā)展。

核心亮點(diǎn)

成本革命：從天價(jià)到平民化

HeyGem通過自研的輕量化模型架構(gòu)，將數(shù)字人制作成本壓縮至傳統(tǒng)方案的千分之一（僅需約1,000美元），讓中小企業(yè)、教育機(jī)構(gòu)甚至個(gè)人創(chuàng)作者都能輕松擁有專屬數(shù)字分身。

超現(xiàn)實(shí)擬真技術(shù)

基于真實(shí)人物的高清視頻數(shù)據(jù)訓(xùn)練，HeyGem生成的數(shù)字人不僅具備細(xì)膩的面部表情與肢體動(dòng)作，還能精準(zhǔn)還原語(yǔ)音語(yǔ)調(diào)與微表情，實(shí)現(xiàn)“真假難辨”的視覺效果。

多模態(tài)輸入，創(chuàng)作自由度拉滿

• 文本驅(qū)動(dòng)：輸入腳本即可生成口型同步的演講視頻；
• 圖像定制：上傳照片快速生成個(gè)性化虛擬形象；
• 聲音克?。和ㄟ^短音頻樣本復(fù)現(xiàn)真人聲線，實(shí)現(xiàn)“聲音+形象”雙重?cái)M真。

技術(shù)優(yōu)勢(shì)

• 零門檻部署：開源代碼+輕量級(jí)模型，無(wú)需專業(yè)硬件即可本地化運(yùn)行；
• 動(dòng)態(tài)交互支持：支持實(shí)時(shí)語(yǔ)音交互與動(dòng)作捕捉，可嵌入直播、客服等場(chǎng)景；
• 跨平臺(tái)兼容：生成內(nèi)容適配短視頻、虛擬直播、在線教育等多場(chǎng)景需求。

應(yīng)用場(chǎng)景

• 企業(yè)營(yíng)銷：快速生成品牌代言人數(shù)字分身，降低代言成本；
• 教育創(chuàng)新：打造虛擬教師形象，實(shí)現(xiàn)24小時(shí)在線互動(dòng)教學(xué)；
• 內(nèi)容創(chuàng)作：為短視頻博主、UP主提供“數(shù)字替身”，提升創(chuàng)作效率；
• 無(wú)障礙服務(wù)：為殘障人士生成專屬虛擬形象，助力社交與就業(yè)。

相關(guān)鏈接

• 代碼：https://github.com/duixcom/Duix.Heygem

什么是 HeyGem

HeyGem是由Duix.com開發(fā)的免費(fèi)開源 AI 頭像項(xiàng)目。

七年前，一群年輕的先鋒選擇了一條非傳統(tǒng)的技術(shù)路線，開發(fā)了一種利用真人視頻數(shù)據(jù)訓(xùn)練數(shù)字人模型的方法。與傳統(tǒng)的3D數(shù)字人模型成本高昂不同，我們利用人工智能生成技術(shù)，創(chuàng)造出了超逼真的數(shù)字人模型，將制作成本從數(shù)十萬(wàn)美元大幅降低至區(qū)區(qū)1000美元。這項(xiàng)創(chuàng)新已賦能超過1萬(wàn)家企業(yè)，為教育工作者、內(nèi)容創(chuàng)作者、法律專家、醫(yī)療從業(yè)者、創(chuàng)業(yè)者等各行各業(yè)的專業(yè)人士生成了超過50萬(wàn)個(gè)個(gè)性化虛擬形象，顯著提升了他們的視頻制作效率。然而，我們的愿景遠(yuǎn)不止商業(yè)應(yīng)用。我們相信這項(xiàng)變革性的技術(shù)應(yīng)該惠及所有人。為了使數(shù)字人創(chuàng)作更加民主化，我們開源了我們的克隆技術(shù)和視頻制作框架。我們始終致力于打破技術(shù)壁壘，讓每個(gè)人都能使用尖端工具?，F(xiàn)在，任何擁有電腦的人都可以自由地制作自己的AI虛擬形象，并以零成本制作視頻——這就是 HeyGem的精髓所在。

簡(jiǎn)介

Heygem 是一款專為 Windows 系統(tǒng)設(shè)計(jì)的完全離線視頻合成工具，可以精準(zhǔn)克隆您的外貌和聲音，將您的形象數(shù)字化。您可以通過文字和語(yǔ)音驅(qū)動(dòng)虛擬化身來(lái)創(chuàng)建視頻。無(wú)需網(wǎng)絡(luò)連接，在保護(hù)隱私的同時(shí)，享受便捷高效的數(shù)字體驗(yàn)。

核心功能

• 精準(zhǔn)外貌與語(yǔ)音克隆：采用先進(jìn)的AI算法，高精度捕捉人體五官、輪廓等特征，構(gòu)建逼真的虛擬模型。同時(shí)，支持精準(zhǔn)語(yǔ)音克隆，捕捉并還原人聲的細(xì)微特征，支持多種語(yǔ)音參數(shù)設(shè)置，打造高度相似的克隆效果。
• 文本和語(yǔ)音驅(qū)動(dòng)的虛擬化身：通過自然語(yǔ)言處理技術(shù)理解文本內(nèi)容，將文本轉(zhuǎn)換為自然流暢的語(yǔ)音來(lái)驅(qū)動(dòng)虛擬化身。也可直接使用語(yǔ)音輸入，讓虛擬化身根據(jù)語(yǔ)音的節(jié)奏和語(yǔ)調(diào)做出相應(yīng)的動(dòng)作和面部表情，使虛擬化身的表現(xiàn)更加自然生動(dòng)。
• 高效視頻合成：數(shù)字人視頻畫面與聲音高度同步，實(shí)現(xiàn)自然流暢的口型同步，智能優(yōu)化音視頻同步效果。
• 多語(yǔ)言支持：腳本支持八種語(yǔ)言 - 英語(yǔ)、日語(yǔ)、韓語(yǔ)、中文、法語(yǔ)、德語(yǔ)、阿拉伯語(yǔ)和西班牙語(yǔ)。

主要優(yōu)勢(shì)

• 完全離線操作：無(wú)需網(wǎng)絡(luò)連接，有效保護(hù)用戶隱私，讓用戶在安全、獨(dú)立的環(huán)境中進(jìn)行創(chuàng)作，避免網(wǎng)絡(luò)傳輸過程中潛在的數(shù)據(jù)泄露。
• 用戶友好：界面簡(jiǎn)潔直觀，即使沒有技術(shù)背景的初學(xué)者也可以輕松使用，快速掌握軟件的使用方法，開始他們的數(shù)字人類創(chuàng)作之旅。
• 多模型支持：支持導(dǎo)入多種模型并通過一鍵啟動(dòng)包進(jìn)行管理，方便用戶根據(jù)不同的創(chuàng)作需求和應(yīng)用場(chǎng)景選擇合適的模型。

技術(shù)支援

• 語(yǔ)音克隆技術(shù)：利用人工智能等先進(jìn)技術(shù)，根據(jù)給定的語(yǔ)音樣本生成相似或相同的聲音，涵蓋上下文、語(yǔ)調(diào)、速度等語(yǔ)音方面。
• 自動(dòng)語(yǔ)音識(shí)別：將人類語(yǔ)音詞匯內(nèi)容轉(zhuǎn)換為計(jì)算機(jī)可讀輸入（文本格式）的技術(shù)，使計(jì)算機(jī)能夠“理解”人類語(yǔ)音。
• 計(jì)算機(jī)視覺技術(shù)：用于視頻合成的視覺處理，包括面部識(shí)別和唇部運(yùn)動(dòng)分析，確保虛擬化身唇部動(dòng)作與語(yǔ)音和文本內(nèi)容相匹配。

如何在本地運(yùn)行

HeyGem 支持基于 Docker 的快速部署，部署前請(qǐng)確保您的軟硬件環(huán)境滿足指定要求。

HeyGem 支持兩種部署模式：Windows / Ubuntu 22.04 安裝

依賴項(xiàng)

1. Nodejs 18
2. Docker 鏡像

docker pull guiji2025/fun-asr

docker pull guiji2025/fish-speech-ziming

docker pull guiji2025/heygem.ai

方式一：Windows安裝

系統(tǒng)要求：

目前支持Windows 10 19042.1526或更高版本 硬件要求：

• 必須有D盤：主要用于存儲(chǔ)數(shù)字人和項(xiàng)目數(shù)據(jù)

可用空間要求：超過30GB

• C盤：用于存儲(chǔ)服務(wù)圖像文件
• 可用空間要求：超過100GB
• 如果可用空間少于100GB，安裝Docker后，可以在下面顯示的位置選擇其他剩余空間大于100GB的磁盤文件夾。

推薦配置：

• CPU：第 13 代英特爾酷睿 i5-13400F
• 內(nèi)存：32GB
• 顯卡：RTX 4070

方式二：Ubuntu 22.04安裝

系統(tǒng)要求：

對(duì)Ubuntu 22.04進(jìn)行了完整的測(cè)試。不過理論上它支持桌面 Linux 發(fā)行版。

硬件要求：

推薦配置

• CPU：第 13 代英特爾酷睿 i5-13400F
• 內(nèi)存：32G以上（必備）
• 顯卡：RTX - 4070（確保您擁有 NVIDIA 顯卡并且顯卡驅(qū)動(dòng)程序已正確安裝）
• 硬盤：剩余空間大于100G

本文轉(zhuǎn)載自??????AIGC Studio??????，作者：AIGC Studio