Stability AI又放大招！

現在，Stable Diffusion也能生成視頻了。AI屆，實在是太卷了。

昨天，Stability AI發布了一款專為藝術家和開發人員設計的工具——Stable Animation SDK。用戶可以通過多種方式創建令人驚嘆的動畫效果。

此前，Runway的Gen-2就相當炸裂，宣傳詞非常霸氣——「say it，see it」。

現在，Stability AI也有比肩Gen-2的視頻生成工具了！

Stable Diffusion能做視頻了

借助Stability AI的動畫端點，美術師可以使用所有Stable Difusion模型來生成動畫，包括Stable Diffusion 2.0和Stable Diffusion XL。

不過，有別于之前發布的開源模型，Stable Animation目前僅能通過SDK和付費API使用。

現在，用這三種方式，都可以創建動畫了——

• 經典的prompt

就像使用Stable Diffusion、Midjourney或DALL-E 2一樣，用文本生成動畫。

輸入prompt，調整各種參數，就能生成動畫。

• prompt+圖像

提供一個初始圖像，作為動畫的基礎。之后，結合prompt和這個初始圖像，就能生成最終輸出的動畫。

• prompt+視頻

提供一個初始視頻，作為動畫的基礎。同樣，通過各種參數的調整，外加prompt的引導，最終得到輸出的動畫。

1塊錢，就能生成100幀動畫

該軟件似乎仍處于測試階段。Stability AI并沒有通過他們的瀏覽器平臺（如DreamStudio或ClipDrop）提供，而是僅提供軟件開發套件（SDK）和付費API。

當然，這并不妨礙第三方通過服務提供這種動畫模型。

不過，目前想試用這個功能的話，門檻還比較高，因為SDK和API要通過Python腳本來調用。

與Stability AI的圖像模型類似，Stable Animation也可以設置許多參數，例如step、sampler、scale或seed。此外，還提供了諸如outpainting或prompt interpolation等功能。

不同的參數也會影響價格。所以創建一個視頻要花費多少錢，并不確定。

Stability給出的報價范圍是，在不同設置下，每100幀的價格從3美分到18美分不等。

Stability AI以輸出動畫的積分值作為收費的依據，用戶生成的動畫會被換算成一個積分，每1000個積分消耗1美元。

小編算了一下，根據官方公布的積分計算方法，一塊錢人民幣大概能生成一段100幀的1024*1024分辨率的動畫。

但是其他的參數也會影響價格，官方給了一個表來說明支持調整的參數，以及是否會影響到生成動畫的價格。

與Stable Diffuision XL兼容

Stable Animation可以與每個版本的Stable Diffusion結合使用。

它的默認版本是1.5，但我們也可以選擇使用新版的Stable Diffusion XL。

里面有很多樣板，包括動漫、漫畫書、低多邊形、像素藝術。

原始分辨率是512 x 512像素，可以增加到1,024 x 1,024像素。此外，可以使用升頻器。

Stable Animation的默認值是72 幀（12幀每秒），但根據說明，它可以增加到無窮大。

此前，Stability AI就已經有了基于Stable Diffusion的動畫工具，比如，我們可以通過prompt interpolation（不斷改變prompt的某些屬性）生成一小段動圖。

這次的升級的不同之處在于，table Animation生成視頻的能力更全面、更成熟。

雖然現在，AI還沒進化到讓我們按個按鈕就能生成電影，但Stable Animation、Runway ML、Phenaki、Imagen Video等模型的超強進化，已經預示了視覺生成AI的視頻生成功能，會越來越驚艷。

網友實測

Stable Animation一發布，網友們就按捺不住自己渴望嘗試的小手。

比如，npaka就分享了自己的使用體驗。

首先，將DreamStudio的API密鑰設置為本機的環境變量。

然后，準備Python虛擬環境，并安裝stability_sdk并啟動Animation GUI。

$ pip install 'stability_sdk[anim_ui]' 
$ python -m stability_sdk animate --gui

Running on local URL:  http://127.0.0.1:7860

用瀏覽器打開顯示的網址后，就可以在「Project」選項卡中創建項目了。

在「Render」選項卡中設置文本提示，然后按「Render」按鈕。

最后，動畫就做好啦。

此外，還有一些網友也分享了自己的作品。

AI離生成電影還有多遠

AI生成視頻的功能如此強大，已經有網友打算投資AI動畫工作室了。

這位表示，腦洞已準備好，就等一個用戶友好的動畫工具了。

網友們的暢想并不遙遠，最近，Wes Anderson的《指環王》的新預告片中，就用到了不少AI工具。

，時長01:30

OpenAI前AI主管Andrej Karpathy猜測，這部預告片中至少用到了Midjourney/Stable Diffusion、ControlNet、 ElevenLabs、D-Id、ChatGPT、Adobe等工具。

看來，AI視覺工具再這么進化下去，取代好萊塢大導不會太遠了。

參考資料：

https://stability.ai/blog/stable-animation-sdk

https://twitter.com/StabilityAI/status/1656691563995512834

https://the-decoder.com/stable-animation-stability-ai-makes-images-move/