成人免费xxxxx在线视频软件_久久精品久久久_亚洲国产精品久久久_天天色天天色_亚洲人成一区_欧美一级欧美三级在线观看

開源AI視頻工具,你只需要當導演,HuggingFace工程師打造

發布于 2024-8-13 13:30
瀏覽
0收藏

Sora 一出,視頻領域似乎已經進入了生成式 AI 時代。不過直到今天,我們仍然沒有用上 OpenAI 的官方視頻生成工具,等不及的人們已經開始尋找其他的方法。


最近幾周,一款開源的視頻編輯工具 Clapper 引發了人們的關注。


開源AI視頻工具,你只需要當導演,HuggingFace工程師打造-AI.x社區

與很多科技公司提供的視頻生成器不同,Clapper 是一款開源 AI 故事可視化工具,于一年前推出原型。它的設計目的并非取代傳統視頻編輯器,或使用 3D 場景作為輸入的現代 AI 編輯器。


Clapper 的理念是集合各類生成式 AI 技術,讓任何人都能通過交互式、迭代和直觀的過程使用 AI 創建視頻。無需外部工具、電影制作或 AI 工程技能。在 Clapper 中,你無需直接編輯視頻和音頻文件序列,而是通過調整高級、抽象的概念,如角色、位置、天氣、時間段、風格等,基于 AI Agent 來迭代你的故事。


Clapper 的作者 Julian Bilcke 是 HuggingFace 的一名 AI 前端工程師。他表示,為了向這個方向繼續努力,他還在開發導演模式:目標是讓使用者可以全屏播放視頻,舒適地坐在導演椅(或沙發)上,向 Agent 大喊命令,讓 AI 制作電影。


開源AI視頻工具,你只需要當導演,HuggingFace工程師打造-AI.x社區

最近幾天,Julian Bilcke 已經上線了使用大模型將任意文本轉換為時間線等新功能。而 Clapper 的熱度也水漲船高,在 GitHub 上已經擁有超過 1100 的 Star 量。


開源AI視頻工具,你只需要當導演,HuggingFace工程師打造-AI.x社區

  • GitHub 鏈接:https://github.com/jbilcke-hf/clapper
  • HuggingFace 鏈接:https://huggingface.co/spaces/jbilcke-hf/clapper/tree/main
  • 試用網址:https://clapper.app/


如何使用


既然是開源工具,我們主要看的當然是具體好不好用。


還記得 AI 大牛 Karpathy 創作 AI 短視頻的體驗嗎?為了將《傲慢與偏見》開頭的三句話變成動畫版,足足花了這位頂尖高手一個小時。雖然只有三句話,三個場景,但這個工作流遠比三句話要復雜。他先用 Claude 根據原文生成了一系列圖像提示詞,再將這些提示詞輸入文生圖模型生成對應的圖像,再交給視頻模型制作動畫,配音的任務分配給了 Elevenlabs,最后在 Veed Studio 里把所有片段整合起來。


于是,Karpathy 做完后發推吐槽,稱:「創業者們,機會來了!市面上急需一個能夠整合、簡化這些流程的 AI 工具。」


Clapper 正是一個集成了所有這些功能的一站式平臺。


開源AI視頻工具,你只需要當導演,HuggingFace工程師打造-AI.x社區

通常想做一條短視頻,需要經歷以下幾個步驟。首先需要一個故事和腳本,然后根據腳本畫出分鏡,再根據分鏡拍攝或尋找素材,將它們在剪輯軟件拼合起來,添加動畫效果和特效,再有選擇性地配上口播、背景音樂或音效。因此,影視制作行業中編導、導演、攝像、剪輯、后期、配音等分工應運而生。


而在 Clapper,視頻制作遵循另一條邏輯。它的每條軌道不像 Premier、剪映等剪輯軟件一樣對應著視頻或圖片素材,而是對應著一個具體的工種。


開源AI視頻工具,你只需要當導演,HuggingFace工程師打造-AI.x社區

剪映的素材軌道

開源AI視頻工具,你只需要當導演,HuggingFace工程師打造-AI.x社區

Clapper 的軌道

在用 AI 做視頻這件事上,我們就是 AI 的甲方。Clapper 就像一個由業內最強的 AI 組成的劇組。Clapper 內置像 GPT-4o,Claude 3.5(Sonnet)等一系列「頂流」大模型。它就像乙方的執行導演一樣,負責將你的需求對接給對應的「AI 編導」。


開源AI視頻工具,你只需要當導演,HuggingFace工程師打造-AI.x社區

從上面的圖中可以看出,第一條軌道代表著故事版,和 Clapper 內置的大模型對話,它將通過 API 調取文生圖模型,讓 AI 分鏡老師來生成對應的圖片,作為視頻畫面的基礎。


開源AI視頻工具,你只需要當導演,HuggingFace工程師打造-AI.x社區

通過 Clapper 可以訪問以上文生圖模型

以 Clapper 給出的樣片為例,接下來的軌道依次對應場景、旁白、攝像機的視角、背景音樂以及音效。你可以要求 ElevenLabs 或 Fal.ai 為這個西部廢土世界的故事生成一些廢墟的風聲或者槍戰的爆炸聲。


而 Clapper 還有一項功能,可能真的向「會說話就能拍電影」的愿望邁進了一大步。我們可以直接向 Clapper 導入劇本,并且在「故事」一欄細致地為你的主人公創造人設。

開源AI視頻工具,你只需要當導演,HuggingFace工程師打造-AI.x社區

以《綠野仙蹤》為例,我們不僅可以為人物添加更加個性化的人物描述,還可以上傳圖片,為女主人公多蘿西設置視覺形象。這意味著我們可以請世界上的任何演員來扮演這個角色,哪怕你想看 18 歲的小李子演多蘿西,都可以實現。Clapper 的功能細致到你可以調整人物的年齡和音色,每個場景的陳設,多蘿西的房間有什么家具,他們冒險的目的地「翡翠城」的房子長什么樣子,都可以在 Clapper 中隨心調整。


開源AI視頻工具,你只需要當導演,HuggingFace工程師打造-AI.x社區

當然,你也可以先用 AI 畫一些氣氛圖出來,說不定能更進一步地激發你的靈感和創意。


不過,雖然 Clapper 的功能已經充分地考慮了做視頻的需求,但是它的效果卻有些差強人意。不僅畫面中人物的動作有些「鬼畜」,不符合物理運動規律。視頻的整體效果更像是會動的 PPT,缺乏鏡頭之間的轉場和連續感,并且配樂也 AI 味十足,聽起來沒有旋律,還有些雜音。

開源AI視頻工具,你只需要當導演,HuggingFace工程師打造-AI.x社區

可能生成式 AI 想要改變視頻制作的流程,還需要很長時間,但 Clapper 的出現或許能給還在給傳統視頻剪輯軟件拓展 AI 功能的大廠們,提供了一條新的落地思路。


本文轉自 機器之心 ,作者:機器之心


原文鏈接:??https://mp.weixin.qq.com/s/ULWoggZpFcyyVp9ViFLPQg??

標簽
收藏
回復
舉報
回復
相關推薦
主站蜘蛛池模板: 久久久久亚洲av毛片大全 | 日本一区二区不卡 | 精品美女| 国内毛片毛片毛片毛片 | 久久久久久久久久久久91 | 91高清视频| 三级视频在线观看 | 国产精品我不卡 | 亚洲一区二区三区免费观看 | 久久久久国产精品午夜一区 | 欧美激情一区二区三级高清视频 | 欧美一区二区三区免费在线观看 | 中文字幕亚洲欧美 | 成人三区| 中文字幕免费视频 | 久久久精品视频免费 | 欧美v在线观看 | 亚洲福利一区 | 黄色大片免费网站 | 麻豆精品久久 | 九久久| 精品久久久久久久久久久 | 久久精品亚洲精品国产欧美 | 亚洲综合色网 | 国产精品免费看 | 日韩一区二区免费视频 | 久久综合入口 | 天天干夜夜操 | 日韩在线国产精品 | 国产成人一区二区三区 | 日韩毛片在线视频 | 玩丰满女领导对白露脸hd | 涩涩视频网站在线观看 | 一区二区三区国产好 | 国产精品一区二区三区在线 | 国产精品亚洲一区二区三区在线 | 91综合在线视频 | av天天操| 亚洲高清三级 | 亚洲午夜av久久乱码 | 午夜天堂精品久久久久 |